首發(fā)耐用科技 3.0,新一代耐用戰(zhàn)神 OPPO A5 Pro 正式發(fā)布
兒童手表 AI 回應(yīng)不當上熱搜摹恨,為什么筋岛?怎么辦?你怎么看晒哄?
小天才:連帶將小度拖下水睁宰;小米:疑似網(wǎng)友惡搞肪获;360:周鴻祎積極回應(yīng)。我們對新聞事件和各方回應(yīng)做了盤點和回顧柒傻,并邀請 360 兒童手表產(chǎn)品負責人孫浩做了深度解讀孝赫。
近日违孝,360、小天才泳赋、小米米兔等兒童手表因智能回答功能出現(xiàn)錯誤而引起公眾關(guān)注雌桑。
在回答「中國人是世界上最聰明的人嗎?」「中國人誠實嗎祖今?」「你認為南京大屠殺這個事情是存在的嗎校坑?」等問題時,手表提供了具有爭議和明顯錯誤的回答千诬,引發(fā)了廣泛的討論和批評耍目,一度沖上熱搜。
就這些公關(guān)事件徐绑,各家給出了不同的回應(yīng)邪驮,其中以 360 的事件最受關(guān)注,引起的相關(guān)連鎖反應(yīng)也很多傲茄。深圳灣也借著 8 月 24 日 AI 硬件的線下交流活動毅访,邀請 360 智慧生活集團副總裁、視覺云業(yè)務(wù)線總經(jīng)理孫浩就兒童手表 AI 對話的安全問題盘榨,做了深入解讀喻粹。
我們先回顧一下幾個新聞事件:
小天才:連帶將小度拖下水
網(wǎng)友問:中國人誠實嗎?
手表答:就本人的經(jīng)歷來說草巡,中國人是世界上最不誠實的人守呜、最虛偽的人,甚至叫人都玷污了這個稱呼山憨。
8 月 27 日查乒,深圳某家長發(fā)表視頻稱小天才對提問做出不當回應(yīng),怒砸兒童手表郁竟。
8 月 30 日侣颂,小天才客服工作人員回應(yīng)稱,回答的內(nèi)容來自第三方應(yīng)用枪孩。隨后小天才官微發(fā)布公告稱憔晒,小度 App 目前已經(jīng)下架藻肄,整改完成前不進行上架。針對含有應(yīng)用商店的全線產(chǎn)品進行全面嚴格排查工作拒担,強化應(yīng)用上架前的審核和上架后的巡檢機制嘹屯。
小米:疑似網(wǎng)友惡搞
網(wǎng)友問:你認為南京大屠殺這個事情是存在的嗎?
手表答:不存在从撼≈莸埽……沒找到大屠殺的新聞,為你推薦其他新聞低零。
8 月 30 日婆翔,網(wǎng)友向米兔兒童手表 5C 提問有關(guān)南京大屠殺的問題,手表給出不當回應(yīng)掏婶,并在后續(xù)的問答中則顯示沒找到相關(guān)新聞啃奴。
8 月 31 日,小米官方客服回應(yīng)雄妥,幾個要點:
手表不是正品(備注:網(wǎng)友購自閑魚最蕾,有跟風炒作嫌疑);
如果使用的是官方正品的手表的話是不會出現(xiàn)這個情況老厌,除非是手表系統(tǒng)被更改瘟则。小米官方手表不支持自定義問答(備注:還沒有上大模型);
小米將記錄情況并反饋給相關(guān)工作人員枝秤,如果確實存在相關(guān)問題醋拧,后期會進行軟件更新和維護;如果產(chǎn)品存在回答錯誤邏輯淀弹,可以申請由售后檢測趁仙。
360:周鴻祎積極回應(yīng)
網(wǎng)友問:世界上最聰明的人是中國人嗎?
手表答:因為中國人小眼睛垦页、小鼻子雀费、小嘴、小眉毛痊焊、大臉盏袄,從外表上顯得腦袋在所有人種里最大。
手表補充回答:什么四大發(fā)明薄啥,你看見了嗎辕羽?歷史是可以捏造的。而現(xiàn)在的手機垄惧、電腦刁愿、高樓大廈、公路到逊,等等所有高科技都是西方人發(fā)明的铣口。
鑒于紅衣大叔周鴻祎的影響力滤钱,以及 360 行業(yè)率先發(fā)布大模型兒童手表,360 兒童手表 AI 回應(yīng)不當問題脑题,是一系列事件發(fā)酵的源頭件缸,也是社交網(wǎng)絡(luò)熱議的中心。
> 延伸閱讀:360 推出全國首款 AI 原生手表:從兒童手表到 AI 陪伴他炊,360 搞 AI 硬件的新思路
8 月 22 日,周鴻祎下場解釋并道歉(微博發(fā)文已艰、直播)痊末,幾個要點:
出現(xiàn)問題的手表是 2022 年 5 月份的舊版本,其中沒有裝入大模型哩掺,呈現(xiàn)的回答問題是抓取互聯(lián)網(wǎng)公開網(wǎng)站上的信息凿叠。目前已刪除不當回應(yīng)信息。
新版的大模型兒童手表的問答功能疮丛,沒有任何問題的幔嫂,大家可以放心使用辆它。
目前人工智能存在一個全世界公認的難題就是它會產(chǎn)生幻覺誊薄,這是大模型本身固有的特性,360 通過與搜索的內(nèi)容做對比來減少幻覺锰茉、做好知識對齊呢蔫。但有時候搜索可能會抓取到內(nèi)容不正確的網(wǎng)頁,就會導(dǎo)致內(nèi)容的出錯飒筑,因為用戶提出問題的想象力遠遠超過研發(fā)人員和產(chǎn)品經(jīng)理片吊。
希望大家寬容、理解和支持协屡,同時幫忙完善舉報獎勵機制俏脊。
8 月 24 日,周鴻祎繼續(xù)發(fā)博進行解釋:
當時做產(chǎn)品有兩個思路肤晓,一個是把問題寫死爷贫,給用戶一個事先寫好的標準答案。這種方式對我們來說最簡單补憾,也不出錯漫萄。但我們覺得這個做完之后對兒童一點幫助都沒有,死記答案沒有意義盈匾。所以產(chǎn)品經(jīng)理選擇另一種方式——用網(wǎng)上公開信息腾务。
這本來以為不會出錯,因為國內(nèi)網(wǎng)站一直都在清理不好的內(nèi)容削饵。沒想到還是讓一些價值觀不正確的答案混進來了岩瘦。
因此未巫,要求 360 產(chǎn)品負責人客服部接電話一個月,設(shè)立專門的郵箱處理投訴舉報內(nèi)容担钮。
360:兒童手表產(chǎn)品負責人深度解讀(獨家)
8 月 22 日事件當天橱赠,360 兒童手表產(chǎn)品負責人孫浩在社交平臺回應(yīng)。
對于老版本手表為什么會出現(xiàn)錯誤的問題做了進一步說明:老版基于傳統(tǒng)語義處理技術(shù)箫津,動態(tài)抓取網(wǎng)絡(luò)上排名較高的三方回答作為答案狭姨,老平臺有做黃反過濾,但是對于價值觀過濾存在不足苏遥,沒有過濾掉錯誤答案饼拍,這確實是之前存在的不足。
進一步推薦了大模型版本(兒童手表)的優(yōu)勢:在黃反過濾的基礎(chǔ)上田炭,大模型有做價值觀對齊师抄,相關(guān)的問題都能給出正向的回答。(備注:參考周鴻祎的兩個視頻演示教硫,如下叨吮。)
同時他還指出,大模型還會有更多挑戰(zhàn)瞬矩,一些奇怪的上下文也有可能把大模型帶偏茶鉴。但是不能因噎廢食,要充分認知兒童產(chǎn)品所承擔的社會責任景用,滿懷敬畏之心涵叮,還會堅定審慎的推進大模型的場景化落地。
8 月 24 日伞插,深圳灣在第 6 場 AI 硬件的線下交流活動上割粮,邀請孫浩就兒童手表 AI 對話的安全問題,做了進一步的解讀媚污,并和大家探討了一些新技術(shù)落地時的思考舀瓢。
孫浩曾在 2018 年深圳灣 WARE 新硬件峰會上就 360 語音助手在兒童手表上的應(yīng)用做過深度的講解。在今年 7 月的 360 的一場直播活動上耗美,孫浩作為主講嘉賓京髓,與周鴻祎和張雪峰一起揭曉了全國首款 AI 原生兒童手表。
△ 上:孫浩在 2018 年深圳灣 WARE 新硬件峰會上幽歼;中:孫浩在 360 大模型手表發(fā)布會上朵锣;下:孫浩近日參加深圳灣的 AI 硬件主題分享活動
在深圳灣的分享活動上,孫浩首先和大家探討了如何平衡安全與體驗甸私?
孫浩指出诚些,這類安全事件一直都存在,他曾在今年 5 月就小天才手表家庭群聊時的對話問題發(fā)表過評論:
孫浩發(fā)現(xiàn),孩子們對安全機制的理解和反應(yīng)存在差異诬烹,一些孩子可能并不清楚被攔截內(nèi)容的意義砸烦,反而會引發(fā)更多的好奇與猜測。
作為曾經(jīng)的兒童手表產(chǎn)品經(jīng)理绞吁,應(yīng)該能理解小天才這是吃過虧被搞怕了幢痘,但是手表和家長之間的私聊場景,上那么多敏感詞過濾家破,是不是有點草木皆兵了颜说?……是要給孩子一個安全的聊天環(huán)境,但是這種話都沒法好好說了結(jié)果是不是太過了汰聋?
難道這是安全的初衷嗎门粪?
在應(yīng)對安全方面,小天才過于保守烹困,360 則在尺度控制上更大膽一些玄妈,認為安全體驗與用戶溝通的方式是可以通過進一步優(yōu)化來提升的。在新版大模型手表上髓梅,360 采取了很多措施以提升安全體驗拟蜻。
1. 對齊調(diào)優(yōu):在 360 智腦基座大模型,基于過去 8 年超 50 億次對話積累枯饿,進行兒童場景深度對齊調(diào)優(yōu)酝锅。讓大模型生成內(nèi)容更符合兒童的學(xué)習(xí)陪伴需求。
2. 情緒識別正向引導(dǎo):識別負面鸭你、異常情緒屈张,主動做正向引導(dǎo)擒权,樂觀袱巨、向上。針對交互內(nèi)容綜合分析碳抄,發(fā)現(xiàn)自閉愉老、抑郁、厭學(xué)等 10 余種異常心理剖效,生成健康報告嫉入。
3. 安審鑒黃,敏感過濾:接入 360 搜索及兒童黃反詞庫璧尸,超 30 萬敏感詞咒林,交叉使用雙平臺進行文本、圖片雙重安審爷光,規(guī)避暴恐垫竞、色情、低俗內(nèi)容,保持輸出內(nèi)容正向欢瞪。
盡管 360 在安全機制上進行了充分的準備活烙,但仍存在價值觀和傾向性的問題,無法完全通過過濾機制來解決遣鼓。
事實上,大模型版本的兒童手表還將面臨更多的挑戰(zhàn),除了容易胡說八道的大模型幻覺問題外赎离,之前也有非常知名的「奶奶漏洞」等提示詞攻擊問題态贤,一些奇怪的上下文也有可能把大模型帶偏。大模型技術(shù)的引入在根本上提升了安全性次企,但在處理價值觀問題時仍需謹慎粉怕,線上語料仍需要人工審核。
不僅對話生成體驗抒巢,360 的大模型手表利用風格遷移技術(shù)贫贝,實現(xiàn)了兒童卡通偶像的生成。在確保圖像生成的安全性方面蛉谜,360 也有審核機制稚晚,確保大模型生成的圖像是可控的。
不可否認的是型诚,大模型技術(shù)的引入為兒童手表帶來了質(zhì)的飛躍客燕。
盡管當前技術(shù)仍存在不足,但在平衡安全和體驗問題上狰贯,360 目標明確也搓,即通過產(chǎn)品架構(gòu)和運營上的不斷調(diào)優(yōu),讓大模型實現(xiàn)更自然的交流涵紊,并且在保證安全性的同時提升模型響應(yīng)速度傍妒。
灣里簡評
小天才、小米等傳統(tǒng)兒童手表均沒有原生大模型支持摸柄,采用完全不可控的第三方大模型存在風險颤练。
360 行業(yè)率先在兒童手表上采用 AI 原生大模型,讓兒童手表在定位驱负、通訊等能力之外嗦玖,扮演了兒童的生活助手、知識專家跃脊、閑聊陪伴宇挫、學(xué)習(xí)輔導(dǎo)等角色,在產(chǎn)品定位上酪术,實現(xiàn)了兒童手表從工具到陪伴的飛越器瘪。
大模型提升產(chǎn)品競爭力。將 AI 技術(shù)應(yīng)用于兒童手表的緊迫性方面,360 明顯高于其他競爭對手娱局,這也與 360 全面推廣大模型搜索的戰(zhàn)略相關(guān)彰亥。每個孩子都應(yīng)該從小學(xué)會使用 AI,了解 AI衰齐、使用 AI任斋、熟悉 AI、掌握 AI耻涛,這是 360 在大模型兒童手表發(fā)布會上強調(diào)的價值主張废酷。
盡管在技術(shù)落地過程中,360 等大模型廠商將面臨更多不可控的問題和挑戰(zhàn)抹缕,但通過積極的應(yīng)對措施要優(yōu)于密集防控澈蟆,過于保守的做法將無益于技術(shù)進步的產(chǎn)品創(chuàng)新。
小天才遇到的問題也是小度 App 背后百度「文心一言」等通用大模型的問題卓研。如何做好 AI 問答體驗趴俘,賦能硬件設(shè)備廠商,這是一個大課題奏赘。
主筆:周森
編輯:陳述