近日邦尊，中科院物聯(lián)網(wǎng)研究發(fā)展中心發(fā)布了一份《智能音箱的智能技術(shù)解析及其成熟度測(cè)評(píng)》，對(duì)國(guó)內(nèi)流行的一些智能音箱的技術(shù)成熟度优烧，進(jìn)行了一次綜合性的對(duì)比測(cè)評(píng)蝉揍。

中科院物聯(lián)網(wǎng)研究發(fā)展中心挑選了 8 款主流智能音箱設(shè)備，包括國(guó)內(nèi)互聯(lián)網(wǎng)公司的領(lǐng)頭羊畦娄，BAT（百度又沾、阿里、騰訊）熙卡，和以互聯(lián)網(wǎng)模式進(jìn)行硬件銷(xiāo)售的小米所主推的智能音箱產(chǎn)品杖刷，具體型號(hào)分別是：

• 無(wú)屏音箱：天貓精靈 X1、小米 AI 音箱驳癌、騰訊智能聽(tīng)聽(tīng) 9420 智能音箱 TS-T1滑燃、小度智能音箱 Play。
• 有屏音箱：小米小愛(ài)觸屏音箱颓鲜、小度在家 1S表窘、天貓精靈 CC、騰訊叮當(dāng)智能屏甜滨。（點(diǎn)擊鏈接乐严，查看深圳灣對(duì)每一款智能音箱的測(cè)評(píng)報(bào)道）

它們分別以其獨(dú)到的技術(shù)特點(diǎn)展示在不同領(lǐng)域的各自優(yōu)勢(shì)：小米的智能家居生態(tài)可以隨時(shí)讓用戶通過(guò)音箱控制米家設(shè)備；阿里背后坐擁的海量電商數(shù)據(jù)配合智能音箱設(shè)備讓網(wǎng)上購(gòu)物擁有了全新的體驗(yàn)衣摩；而百度背后則擁有著全國(guó)最大昂验、最強(qiáng)的搜索引擎系統(tǒng)和人工智能技術(shù)作為其堅(jiān)實(shí)后盾。

中科院選擇了兩處測(cè)試實(shí)驗(yàn)場(chǎng)地艾扮，知行大廈的小型會(huì)議室既琴、中科院物聯(lián)網(wǎng)研究發(fā)展中心的小型會(huì)議室。并邀請(qǐng)中國(guó)科學(xué)院微電子所栏渺、自動(dòng)化所呛梆、聲學(xué)所的志愿者全程進(jìn)行測(cè)試和監(jiān)督锐涯。執(zhí)行測(cè)試的志愿者都盡量使用標(biāo)準(zhǔn)普通話進(jìn)行測(cè)試磕诊，語(yǔ)速中等，且只記錄最多嘗試 3 次之后的效果。共計(jì)測(cè)試了 8240 次對(duì)話霎终。

評(píng)測(cè)標(biāo)準(zhǔn)

中科院為 3 大智能技術(shù)量身定制了 3 個(gè)評(píng)測(cè)標(biāo)準(zhǔn)滞磺。語(yǔ)音識(shí)別技術(shù)（ASR）對(duì)應(yīng)的測(cè)試標(biāo)準(zhǔn)為「準(zhǔn)確度」，自然語(yǔ)言理解（NLU）對(duì)應(yīng)的測(cè)試標(biāo)準(zhǔn)為「召回率」莱褒，對(duì)話管理（DM）對(duì)應(yīng)的測(cè)試標(biāo)準(zhǔn)為「滿意度」击困。具體而言：

識(shí)別準(zhǔn)確度：語(yǔ)音識(shí)別正確與否，就是評(píng)估評(píng)測(cè)者用目標(biāo)集合直接在設(shè)備上發(fā)起語(yǔ)音需求广凸，通過(guò)設(shè)備返回的識(shí)別結(jié)果判斷阅茶，語(yǔ)音識(shí)別是否正確。對(duì)單個(gè) Query（問(wèn)詢）而言谅海，完全正確 1 分脸哀，部分正確 0.5 分，完全錯(cuò)誤 0 分扭吁。為了避免不同評(píng)測(cè)者語(yǔ)音發(fā)音帶來(lái)的偏差撞蜂，要求同一 Query 由同一評(píng)測(cè)者評(píng)測(cè) 4 個(gè)音箱，每個(gè)音箱最多可以嘗試 3 次侥袜，均以標(biāo)準(zhǔn)普通話來(lái)請(qǐng)求蝌诡。

理解召回率：即判斷用戶表達(dá)的意圖，與設(shè)備返回的意圖是否一致枫吧。對(duì)單個(gè) Query 而言浦旱，一致為 1，不一致為 0由蘑。

體驗(yàn)滿足度：將體驗(yàn)滿足度分檔定義為如下 4 檔：

• 1分：對(duì)用戶需求整體滿足度較好
• 0.5 分：部分能滿足用戶需求闽寡，但是有優(yōu)化空間
• 0 分：完全無(wú)法滿足用戶需求
  
• -1 分：不僅無(wú)法滿足需求，還對(duì)用戶帶來(lái)了負(fù)向體驗(yàn)
  

對(duì)這三個(gè)測(cè)評(píng)標(biāo)準(zhǔn)來(lái)說(shuō)尼酿，首先是精確度爷狈，主要是評(píng)價(jià)測(cè)試人員對(duì)設(shè)備發(fā)出命令后，設(shè)備是否識(shí)別出了用戶說(shuō)的內(nèi)容裳擎。

其次是召回率涎永，針對(duì)測(cè)試人員詢問(wèn)的問(wèn)題，設(shè)備是否能做出正確的反應(yīng)鹿响，例如：「播放王菲的《紅豆》」羡微，當(dāng)音箱做出播放動(dòng)作或者提示沒(méi)有找到王菲的《紅豆》可以認(rèn)為是聽(tīng)懂指令，召回率均的 1 分惶我。

同時(shí)妈倔，成功播放的滿足度也得 1 分，提示沒(méi)找到的滿足度給 0 分绸贡。但是如果沒(méi)有做出提醒直接播放其他人的《紅豆》或者未播放盯蝴，滿足度記 0 分毅哗。對(duì)于確實(shí)是播放的王菲演唱的《紅豆》，但是捧挺，音頻質(zhì)量不好的情況虑绵，則將滿足度記錄為 0.5 分。

對(duì)于外接設(shè)備的問(wèn)題闽烙，如果回答暫時(shí)不支持翅睛，召回率和滿足度都直接記錄為 0 分，回答聽(tīng)不懂會(huì)進(jìn)行一次重復(fù)黑竞，如果 3 次都聽(tīng)不懂則將召回率和滿足度均記為 0 分捕发，根據(jù)這種評(píng)分細(xì)則進(jìn)行測(cè)試和打分，測(cè)試人員輪流測(cè)試并打分很魂，最后統(tǒng)計(jì)所有分?jǐn)?shù)爬骤。

評(píng)測(cè)結(jié)果

中國(guó)科學(xué)院志愿者評(píng)測(cè)結(jié)果：

1. 測(cè)評(píng) query 分布情況具體如下：

無(wú)屏音箱的測(cè)評(píng) query 主要分布前三類(lèi)的分別是，音頻類(lèi) 58.44%莫换，設(shè)備控制類(lèi) 14.93%霞玄，信息查詢類(lèi) 10.24%。

有屏音箱的測(cè)評(píng) query 主要分布前三類(lèi)的分別是拉岁，視頻播放類(lèi) 32.34%坷剧，音頻類(lèi) 23.89%，設(shè)備控制類(lèi) 23.79%喊暖。

2. 整體評(píng)測(cè)數(shù)據(jù)具體如下：

聽(tīng)清：

在以 ASR 識(shí)別率為主要指標(biāo)的「聽(tīng)清」環(huán)節(jié)惫企，不論是無(wú)屏音箱還是有屏音箱，4 家主要廠商沒(méi)有明顯差距陵叽。有屏音箱的 ASR 識(shí)別率整體優(yōu)于無(wú)屏音箱狞尔。

從無(wú)屏音箱維度看，4 家主要廠商 ASR 識(shí)別率均達(dá)到 94% 以上巩掺。其中偏序，小度音箱識(shí)別率 98%、天貓精靈為 97%胖替、小米小愛(ài)為 96%研儒、騰訊音箱為 94%。

從有屏音箱維度看独令，4 家主要廠商 ASR 識(shí)別率均達(dá)到 96% 以上端朵。其中，騰訊叮當(dāng)燃箭、小度在家 1S 分別以 98.6%冲呢、98.5% 微微領(lǐng)先其他廠商。天貓 CC ASR 識(shí)別率為 96.90%招狸，小米有屏 ASR 識(shí)別率則為 97.70%敬拓。

聽(tīng)懂：

在以召回率為主要指標(biāo)的「聽(tīng)懂」環(huán)節(jié)瓤湘，有屏音箱的召回率略高于其對(duì)應(yīng)的無(wú)屏音箱。而小度系列智能音箱是唯一召回率超過(guò) 90% 的產(chǎn)品恩尾，天貓精靈、小米小愛(ài)的召回率也達(dá)到 70% 以上挽懦。

無(wú)屏音箱方面翰意，小度音箱以 90.20% 的表現(xiàn)排名第一，天貓精靈和小米小愛(ài)的召回率分別為 87.4% 和 85.6%信柿，騰訊音箱的召回率則為 73.1%冀偶。

有屏音箱方面，小度在家 1S 以 92.90% 的排名第一渔嚷，其后緊跟天貓 CC 召回率 74.30%进鸠、小米有屏召回率 76.10%、騰訊叮當(dāng)召回率 78.4%形病。

滿足：

在滿足用戶體驗(yàn)的環(huán)節(jié)客年，有屏音箱的用戶滿意度表現(xiàn)低于其無(wú)屏音箱。其中漠吻，小度系列智能音箱在有屏與無(wú)屏音箱方面都拔得頭籌量瓜，評(píng)測(cè)者滿意度高。天貓途乃、小米等還有一定提升空間绍傲。

無(wú)屏音箱方面，小度音箱用戶滿足率為 81.6%耍共。天貓精靈和小米小愛(ài)的用戶滿足率為 74.2% 和 74.9%烫饼。騰訊音箱的用戶滿意度較低為 59.7%。

有屏音箱方面试读，小度在家 1S 的用戶滿足率達(dá)到 86.9%杠纵。天貓 CC 和小米有屏滿足率分別為 62.8% 和 67.1%。騰訊叮當(dāng)?shù)挠脩魸M足率達(dá)到 4 家平均水平钩骇，為 70.3%淡诗。

資訊來(lái)源：中科院物聯(lián)網(wǎng)研究發(fā)展中心（內(nèi)容略有刪減）

編輯：森林木 / 深圳灣