OPPO Reno 系列發(fā)布:側(cè)旋升降攝像頭+10 倍混合光學(xué)變焦欺税,能拍又能打
OPPO Reno 實(shí)現(xiàn)了鎖屏語(yǔ)音喚醒辛萍,其背后的技術(shù)更耐人尋味
有了低功耗算法加持喳魏,手機(jī)語(yǔ)音助手不再那么雞肋嘍~
北京時(shí)間 4 月 10 日下午池颈,OPPO Reno 新機(jī)發(fā)布會(huì)舉行,OPPO Reno 系列的第一款手機(jī)也正式揭開面紗钓丰。
除了全面無孔屏躯砰、10 倍混合光學(xué)變焦等這些設(shè)計(jì)和技術(shù),Reno 所搭載的 OPPO 新一代語(yǔ)音助手 Breeno 也備受關(guān)注:它比以往都具備了更加智能携丁、主動(dòng)琢歇、貼心的能力,能在合適時(shí)候梦鉴,提供恰到好處的服務(wù)李茫,比你男友更了解你的生活起居。
比如肥橙,它會(huì)在你飛機(jī)登機(jī)提示登機(jī)口信息魄宏,會(huì)在電影開場(chǎng)時(shí)提醒你將手機(jī)調(diào)成靜音模式,甚至幫你找到圖片上衣服的購(gòu)買鏈接……
值得稱道的是存筏,Breeno 的體貼還是全天候不斷線的:不管任何時(shí)候宠互,只要是開機(jī)味榛,我只要對(duì)手機(jī)喊一句「小布小布/hey Breeno」,它會(huì)即刻響應(yīng)予跌。只要從聲音中認(rèn)出我是它的主人搏色,它就會(huì)聽我的命令播報(bào)天氣、播放音樂券册,或者給朋友發(fā)個(gè)微信紅包频轿,所有操作一步即可到位。
更重要的是烁焙,這期間我完全不必碰手機(jī)去長(zhǎng)按某個(gè)按鍵略吨,甚至不必在百忙之中給手機(jī)進(jìn)行面部/指紋解鎖,簡(jiǎn)單到就像跟身邊的一位朋友對(duì)話考阱,一出聲就打開了手機(jī)的話匣子。
這一革新的交互方式鞠苟,大大的簡(jiǎn)化了過去啟動(dòng)手機(jī)語(yǔ)音助手的操作乞榨。這讓我更相信,躺在手機(jī)的語(yǔ)音助手不再是一個(gè)雞肋的存在当娱,而且距離鋼鐵俠的 Jarvis 更近了一步吃既。
是什么樣的技術(shù)方案,讓手機(jī)語(yǔ)音助手的問題得到了解決跨细?
近年來鹦倚,隨著語(yǔ)音交互在各種設(shè)備上「遍地開花」,語(yǔ)音助手也成為各品牌新機(jī)的標(biāo)配冀惭。對(duì)手機(jī)廠商來說震叙,這不僅僅是為了增加一個(gè)宣傳賣點(diǎn),更重要的是背后商業(yè)策略層面的考量——為其 AIoT 生態(tài)的關(guān)鍵入口做準(zhǔn)備散休。
如前面提到的媒楼,大部分手機(jī)語(yǔ)音助手的體驗(yàn)并不那么友好,導(dǎo)致用戶使用頻率普遍不高戚丸,這一問題也恰恰成為各廠商構(gòu)建宏偉藍(lán)圖路上的一個(gè)「絆腳石」划址。
OPPO Reno 手機(jī)能夠?qū)崿F(xiàn)息屏喚醒語(yǔ)音助手,從本質(zhì)來看限府,是解決了目前大部分手機(jī)的痛點(diǎn)夺颤,即語(yǔ)音助手時(shí)刻在線的功耗問題。
有了低功耗解決方案作為保障胁勺,語(yǔ)音助手可以在手機(jī)后臺(tái)一直處于低功耗運(yùn)行世澜,確保能夠聆聽和被及時(shí)喚醒,同時(shí)確保不會(huì)給手機(jī)帶來額外的運(yùn)作負(fù)擔(dān)署穗。
事實(shí)上宜狐,能做到這樣的手機(jī)公司 OPPO 也不是第一家势告。手機(jī)語(yǔ)音助手的先行者——蘋果公司從 iPhone 5S 開始就加入一枚「協(xié)處理器」 M7,該芯片通過與低功耗算法適配抚恒,可確保手機(jī)在睡眠狀態(tài)下持續(xù)監(jiān)測(cè)用戶運(yùn)動(dòng)狀態(tài)咱台。
直到 iPhone 6S 發(fā)布時(shí),該系列更新至 M9俭驮,第一次實(shí)現(xiàn)了手機(jī)息屏狀態(tài)下「Hey Siri」的直接語(yǔ)音喚醒功能回溺。要知道,前幾代 iPhone 只有在插電源的時(shí)候下才允許這樣操作混萝。
隨著蘋果同類型的方案應(yīng)用在了 H1 芯片上遗遵,第二代 AirPods 也增加了語(yǔ)音喚醒 Siri 的功能,并與 iPhone 組成了業(yè)界的「王炸組合」逸嘀。
那么车要,OPPO Reno 這一低功耗算法方案的技術(shù)原理是怎樣的,又是如何實(shí)現(xiàn)低功耗算法與麥克風(fēng)崭倘、DSP 處理器的軟硬配合翼岁?我們從背后的「功臣」思必馳那里,得到了解答司光。
在前端信號(hào)處理琅坡、低功耗語(yǔ)音喚醒、聲紋二次喚醒驗(yàn)證等前端技術(shù)残家,以及 APP + 云端的對(duì)話交互上榆俺,OPPO Reno 應(yīng)用了思必馳的語(yǔ)音技術(shù)方案。
讓手機(jī)實(shí)現(xiàn)鎖屏狀態(tài)下語(yǔ)音喚醒坞淮,技術(shù)原理是怎樣的
具體而言茴晋,結(jié)合 OPPO Reno 手機(jī)語(yǔ)音助手的表現(xiàn)來看,思必馳的低功耗算法在設(shè)備端上實(shí)現(xiàn)的原理和步驟如下:
第 1 步:在息屏回窘、鎖屏狀態(tài)下晃跺,手機(jī)處于待機(jī)狀態(tài),運(yùn)行思必馳低功耗算法的 DSP 芯片檢測(cè)到喚醒詞時(shí)毫玖,產(chǎn)生中斷信號(hào)掀虎。
第 2 步:主控芯收到喚醒指令,對(duì)喚醒詞的音頻數(shù)據(jù)做二次喚醒聲紋驗(yàn)證付枫。完成驗(yàn)證后烹玉,點(diǎn)亮屏幕,拉起語(yǔ)音助手阐滩,根據(jù)命令執(zhí)行相應(yīng)操作或調(diào)用相應(yīng)的服務(wù)二打。
第 3 步:當(dāng)聲紋與原注冊(cè)信息不匹配時(shí),設(shè)備無法被喚醒掂榔。更換由注冊(cè)過聲紋信息的用戶發(fā)號(hào)語(yǔ)音指令继效,才能喚醒語(yǔ)音助手症杏。
也就是說,這一過程包含了一級(jí)低功耗喚醒瑞信,二級(jí)喚醒聲紋驗(yàn)證厉颤,所以設(shè)備一直處于低功耗運(yùn)行的狀態(tài),使得設(shè)備整體功耗更低凡简。
值得一提的是逼友,針對(duì)手機(jī)像智能音箱那樣會(huì)同樣存在「設(shè)備音樂聲太大喚不醒」的問題,思必馳在該方案中融合了回聲消除 AEC 算法秤涩,避免揚(yáng)聲器聲音影響語(yǔ)音識(shí)別帜乞,從而實(shí)現(xiàn)更準(zhǔn)確的喚醒。
以上這些還只是思必馳低功耗算法應(yīng)用的其中一個(gè)方面筐眷,其實(shí)現(xiàn)還涉及思必馳的全鏈路語(yǔ)音技術(shù)黎烈。
與大部分手機(jī)語(yǔ)音助手類似,OPPO 語(yǔ)音助手 Breeno 在被喚醒后匀谣,可執(zhí)行命令控制照棋、技能這兩類的操控,前者包括調(diào)整音量振定、手機(jī)亮度等操作,后者主要泛指電話肉拓、導(dǎo)航后频、音樂播放等服務(wù)。而這些服務(wù)的實(shí)現(xiàn)暖途,均通過思必馳 DUI 開放平臺(tái)定制卑惜,包括對(duì)話交互邏輯設(shè)計(jì),技能定制等(導(dǎo)航驻售、娛樂)露久。
基于思必馳與 OPPO 這兩家平臺(tái)的云端-云端的連接,語(yǔ)音交互和提供服務(wù)反饋的過程中欺栗,音頻信號(hào)轉(zhuǎn)化的需求信息會(huì)通過 OPPO 的 Breeno 云端平臺(tái)傳輸?shù)剿急伛Y DUI 平臺(tái)毫痕,從而調(diào)用思必馳提供的云端語(yǔ)音技術(shù)服務(wù),實(shí)現(xiàn)信號(hào)接收方和反饋方的無縫連接迟几。
讓低功耗算法技術(shù)落地消请,背后都經(jīng)歷了什么?
作為一家技術(shù)導(dǎo)向型公司类腮,思必馳一直以來專注語(yǔ)音交互技術(shù)的研究臊泰,同時(shí),將這些技術(shù)在產(chǎn)品端真正實(shí)現(xiàn)落地蚜枢,是思必馳作為一個(gè)企業(yè)的使命缸逃。過去针饥,思必馳的技術(shù)曾服務(wù)于阿里、騰訊需频、360丁眼、京東方、小米贺辰、海爾户盯、長(zhǎng)城、一汽大眾等大客戶饲化。
在與思必馳的交談中莽鸭,我們了解到,技術(shù)落地并不是一個(gè)與產(chǎn)品簡(jiǎn)單結(jié)合的過程吃靠,尤其軟硬件的打磨程度和深度更關(guān)系到產(chǎn)品體驗(yàn)的好壞硫眨。
我們?cè)噲D挖掘兩家廠商之間合作背后的故事,思必馳智能穿戴產(chǎn)品業(yè)務(wù)負(fù)責(zé)人劉洪彬則用了一句話簡(jiǎn)單扼要的總結(jié):
這是一個(gè)相互成就的過程巢块。兩家公司的合作已經(jīng)深入到了系統(tǒng)層面礁阁,把產(chǎn)品體驗(yàn)做到極致,才能達(dá)到足夠好的效果族奢。
一方面姥闭,思必馳提供滿足算力要求的低功耗算法,并將通過平臺(tái)定制的服務(wù)打磨好越走,其中就包括更深入的二級(jí)命令操作棚品,比如通過 Breeno 讀取微信消息、發(fā)紅包廊敌,這是蘋果 Siri 目前都無法做到的铜跑。
另一方面骡澈,OPPO 將設(shè)備產(chǎn)生的數(shù)據(jù)分享給思必馳锅纺,包括用戶在交互中產(chǎn)生數(shù)據(jù)、以及異常數(shù)據(jù)會(huì)同步推送到雙方的后臺(tái)肋殴。
而基于這些數(shù)據(jù)囤锉,思必馳就可以進(jìn)行數(shù)據(jù)標(biāo)注和模擬訓(xùn)練,產(chǎn)生新的聲學(xué)模型护锤,從而進(jìn)一步優(yōu)化 OPPO 手機(jī)的語(yǔ)音交互體驗(yàn)嚼锄,為日后持續(xù)給用戶提供產(chǎn)品體驗(yàn)升級(jí)打下良好的基礎(chǔ)。
除手機(jī)之外蔽豺,低功耗算法技術(shù)如何應(yīng)用在耳機(jī)上区丑?
除了手機(jī)之外,語(yǔ)音助手在手表、耳機(jī)沧侥、平板可霎、翻譯機(jī)等設(shè)備上的應(yīng)用逐漸變得廣泛,這些設(shè)備也對(duì)低功耗宴杀、隨時(shí)待命的語(yǔ)音助手也提出了要求癣朗。
而思必馳打造這套低功耗算法的初衷就是將這一技術(shù)覆蓋到更多的應(yīng)用場(chǎng)景中,而不僅僅只是手機(jī)旺罢。
對(duì)于這套應(yīng)用十分廣泛的方案旷余,思必馳也有自己堅(jiān)持的原則:「我們不會(huì)去打造一個(gè)通用型的方案,因?yàn)槊總€(gè)垂直場(chǎng)景對(duì)應(yīng)的服務(wù)需求不一樣扁达,而我們打磨的服務(wù)也會(huì)因此而變得更細(xì)分正卧、深入」蚪猓」
前不久炉旷,順豐科技推出了輔助收派員處理日常收派件工作的藍(lán)牙耳機(jī)「小豐」,該智能終端設(shè)備就應(yīng)用了思必馳前端信號(hào)處理叉讥、低功耗喚醒窘行、語(yǔ)音識(shí)別、語(yǔ)義理解图仓、語(yǔ)音合成罐盔、智能對(duì)話的全鏈路語(yǔ)音技術(shù)。
基于自家的 DUI 開放平臺(tái)救崔,思必馳提供了與場(chǎng)景匹配的對(duì)話惶看、技能定制服務(wù),包括耳機(jī)端與手機(jī) APP 內(nèi)容的完整對(duì)接帚豪,從而實(shí)現(xiàn)打電話碳竟、接收訂單提醒草丧、快件攔截通知等功能狸臣。
過去繁瑣的操作,如今都可以實(shí)時(shí)在線同步完成昌执,收派員的操作體驗(yàn)和工作效率大大提升了烛亦。這樣一來,過去通用型藍(lán)牙耳機(jī)在該場(chǎng)景中「智能不足」的短板懂拾,得到了解決煤禽。
新技術(shù)在隨行場(chǎng)景之外的應(yīng)用空間有多大?
類似的岖赋,思必馳低功耗算法同樣能夠應(yīng)用在旅游場(chǎng)景中檬果,比如智能導(dǎo)游,設(shè)備可以根據(jù)當(dāng)?shù)鼐包c(diǎn)自動(dòng)播放背景介紹。此外选脊,在翻譯和運(yùn)動(dòng)場(chǎng)景杭抠,也會(huì)有廣闊的應(yīng)用空間。
劉洪彬向深圳灣透露:在這些細(xì)分領(lǐng)域和應(yīng)用場(chǎng)景上恳啥,思必馳均已尋求到行業(yè)客戶偏灿,一起打磨產(chǎn)品體驗(yàn),以及新技術(shù)的探索與研究钝的。軟硬一體的解決方案翁垂,加速低功耗產(chǎn)品的落地與研發(fā)周期。
那么硝桩,在隨行場(chǎng)景之外沿猜,還有哪些應(yīng)用空間呢?思必馳 CMO 龍夢(mèng)竹表示:隨著客戶認(rèn)可度越來越高亿柑,這一技術(shù)有望被應(yīng)用在智能家居中的智能冰箱邢疙、空調(diào)等,尤其是進(jìn)入井噴式增長(zhǎng)階段的 AI 電視望薄。
作為 IoT 的中心設(shè)備,AI 電視因智能語(yǔ)音的加持痕支,目前存在著普遍高功耗的問題颁虐。這必定是一個(gè)需要改進(jìn)的方向,而低功耗算法就是最契合的解決方案卧须,龍夢(mèng)竹進(jìn)一步指出另绩。 在資源服務(wù)上,除自身后端資源合作之外花嘶,思必馳還打通多家智能家居平臺(tái)笋籽,可實(shí)現(xiàn)多設(shè)備的互聯(lián)互通。
每一個(gè)技術(shù)的每一個(gè)鏈條和分支椭员,都蘊(yùn)藏著許多有待挖掘的應(yīng)用车海,而這些應(yīng)用場(chǎng)景的想象空間也遠(yuǎn)比我們想象中的要大。
這不禁讓我們眼前一亮隘击。新技術(shù)的出現(xiàn)從來就不應(yīng)該止于實(shí)驗(yàn)室或?qū)@l(fā)布侍芝,而是應(yīng)該落地于我們老百姓的日常。今天埋同,我們看到了 OPPO Reno 華麗麗的秀出了它的 Jarvis 的新本領(lǐng)州叠,未來,它還會(huì)更加閃亮凶赁。
主筆:萊恩 / 深圳灣
審校:陳壹零 / 深圳灣