安全防護(hù)層層加碼赋除,新一代耐用戰(zhàn)神 OPPO A5 Pro 正式開售
超越 AirPods Pro 和 FreeBuds 3 的 AI 骨傳導(dǎo)通話降噪來了,橫比結(jié)果超出預(yù)期
首款應(yīng)用大象聲科 Vocplus AI 骨傳通話降噪技術(shù)的漫步者 DreamPods 在通話性能的橫比中渗饮,完勝其他 TWS 耳機(jī)但汞。它是如何突破傳統(tǒng)和實(shí)現(xiàn)超越的宿刮?
最近上市的漫步者的 DreamPods TWS 打出了一項(xiàng)與眾不同的賣點(diǎn)功能——AI 骨傳導(dǎo)通話降噪私蕾,這引發(fā)了我們的興趣僵缺。
通話是 TWS 耳機(jī)最重要的功能之一。但當(dāng)你身處在人聲嘈雜的咖啡廳踩叭、噪音分貝很高的地鐵和公交車站磕潮、或是快速行進(jìn)風(fēng)中,因?yàn)槟闩宕鞯?TWS 耳機(jī)通話降噪做的不好容贝,對(duì)方常常聽不清楚你講什么自脯,這個(gè)體驗(yàn)是非常糟糕的。
深圳灣曾經(jīng)在一年前做過一期通話降噪的主流應(yīng)用案例嗤疯,其中冤今,蘋果 AirPods 的雙麥克風(fēng)加骨振動(dòng)傳感器的「語音加速」方案,以及頭戴式 Bose 700 的 8 麥克風(fēng)「雙向降噪」技術(shù)茂缚,令人印象深刻。
△ AirPods
AirPods 的后來者們多基于單雙麥克風(fēng)與算法結(jié)合的方式屋谭,雖然多少實(shí)現(xiàn)了通話中的降噪脚囊,但實(shí)際上很難形成性能突破,在較為安靜的辦公環(huán)境表現(xiàn)尚佳桐磁,但在地鐵悔耘、馬路、機(jī)場我擂、咖啡廳等日常嘈雜的環(huán)境中衬以,接聽方的通話體驗(yàn)常常不盡人意。
漫步者的 DreamPods 這款 TWS 耳機(jī)外形與 AirPods 的一代差不多校摩,半開放式的掛耳設(shè)計(jì)看峻,耳機(jī)柄也保留了 AirPods 的長度。整體上貌不驚人衙吩,連接互妓、佩戴、續(xù)航坤塞、音質(zhì)等也基本符合人們對(duì)于一款 AirPods 替代品的期待冯勉。但它主打的高清通話體驗(yàn),卻令我們發(fā)出了「WOW」的感嘆摹芙!
△ DreamPods
當(dāng)我佩戴 DreamPods 站在公交車站時(shí)灼狰,我打電話給我的同事:
通話清晰嗎?回答:清晰浮禾。
公交車進(jìn)站了交胚,你聽得到嗎坛悉?回答:聽不到,也聽不出你在車站承绸。
我身旁走過了一對(duì)母子裸影,熊孩子在鬧著吃冰淇淋,你聽到了嗎军熏?回答:聽不到轩猩。
我這會(huì)兒已經(jīng)走進(jìn) KFC 了,我旁邊一桌的人正在聊端午節(jié)的旅游經(jīng)歷荡澎,時(shí)不時(shí)的還發(fā)出笑聲均践,你聽得到嗎?回答:聽不到摩幔,完全感受不到你旁邊有人說話彤委。
我已經(jīng)走到室外了,這時(shí)候我迎著風(fēng)或衡,風(fēng)很大哦焦影,呼呼的,你聽得到風(fēng)聲嗎封断?回答:有一些斯辰,能感覺到和剛剛你通話的環(huán)境不同,但聽你講話是清晰的坡疼。
這就是一款 699 元的「類 AirPods」的 TWS 耳機(jī)的表現(xiàn)彬呻,通話質(zhì)量遠(yuǎn)遠(yuǎn)超出了以往我使用的其他國產(chǎn)耳機(jī)。而它也是首款應(yīng)用大象聲科 Vocplus AI 骨傳通話降噪技術(shù)的 TWS 耳機(jī)柄瑰。
骨傳導(dǎo)通話降噪闸氮,蘋果怎么做?
骨傳導(dǎo)通話降噪技術(shù)是蘋果早在 2013 年就為 AirPods 準(zhǔn)備的專利技術(shù)教沾,專利號(hào) US9363596B2蒲跨,直到 2016 年 AirPods 才上市。
專利中描述了用振動(dòng)傳感器結(jié)合麥克風(fēng)做上行降噪的方案详囤,其中财骨,振動(dòng)傳感器主要搜集顱骨因振動(dòng)而產(chǎn)生的聲音信號(hào)(顱骨傳音),而麥克風(fēng)則主要負(fù)責(zé)采集空氣中的聲音藏姐。
采集來的聲音信號(hào)經(jīng)由蘋果的算法處理隆箩,比如,在通話場景中羔杨,對(duì)背景噪聲進(jìn)行削弱捌臊,對(duì)佩戴者的語音進(jìn)行增強(qiáng),從而輸出更清晰的通話聲音兜材,讓接聽電話的對(duì)方理澎,有更好的通話體驗(yàn)逞力。
△ AirPods 骨傳導(dǎo)方案 | 圖源:意法半導(dǎo)體
這一技術(shù)直接為 AirPods 帶來了遠(yuǎn)超于其他跟隨者的出色的通話降噪效果。
同時(shí)糠爬,因?yàn)閷@Wo(hù)寇荧,為蘋果提供微型骨振動(dòng)傳感器的意法半導(dǎo)體,在直到 2019 年的三年時(shí)間里执隧,沒有向其他企業(yè)開放這一傳感器技術(shù)揩抡。
骨傳導(dǎo)通話降噪,華為怎么做镀琉?
華為曾經(jīng)試圖避開蘋果專利峦嗤,很早就開始研發(fā)「骨聲紋識(shí)別」技術(shù)——Bone Voice ID,并將其應(yīng)用在 2018 年 12 月發(fā)布的 FreeBuds 2 Pro 的「聲紋支付」上屋摔。
簡單來說烁设,華為將這一新穎的用戶身份識(shí)別檢測方案,用于識(shí)別耳機(jī)佩戴者說話時(shí)的骨聲紋信息钓试,再將 ID 信息傳遞給手機(jī)装黑,通過 AI 自動(dòng)解鎖手機(jī)。與此同時(shí)亚侠,啟動(dòng)手機(jī)上的語音助手曹体,再接入相關(guān)的語音服務(wù),比如打開微信支付或支付寶支付硝烂,最終實(shí)現(xiàn)通過耳機(jī)進(jìn)行「骨聲紋支付」的功能。
△ 華為 FreeBuds 2 Pro 骨聲紋 ID 官宣
這個(gè)華為在宣傳中標(biāo)榜的「黑科技」或許因?yàn)樘绮粔虺墒焱模蛟S因?yàn)樘^于復(fù)雜滞谢,實(shí)際我們?cè)隗w驗(yàn)中,因?yàn)橄到y(tǒng)等各種限制除抛,未能實(shí)現(xiàn)如海報(bào)所示的效果狮杨。華為官方商城的用戶留言也顯示,這個(gè)功能或者沒有上線或者體驗(yàn)非常糟糕到忽。
后來橄教,華為「再接再厲」,在其去年發(fā)布的 FreeBuds 3 上再次采用了骨傳導(dǎo)的技術(shù)——主要用于通話降噪喘漏。
華為的方案與蘋果有什么不同护蝶?
但華為的骨傳導(dǎo)通話降噪技術(shù)又與蘋果有所不同。
據(jù)《雪球》引用寶藏左博士的信息翩迈,華為 FreeBuds 2 Pro 和 FreeBuds 3 采用的是同一顆骨振動(dòng)傳感器持灰,來自丹麥的 Sonion 公司的 VPU(Voice Process Unit)傳感器,型號(hào)為 VPU14AA01负饲。
華為所采用的 VPU14AA01 和蘋果所采用的 ST LIS25BA 最大的不同是:
VPU14AA01 是單軸振動(dòng)傳感器堤魁,輸出的是模擬信號(hào)喂链,而 LIS25BA 是三軸振動(dòng)傳感器,輸出的是數(shù)字信號(hào)妥泉。
作者在文章中猜測華為選擇 Sonion VPU 的原因在于功耗低(單軸振動(dòng))椭微,可以支持 Freebuds 3 能夠有與 AirPods 相當(dāng)?shù)睦m(xù)航時(shí)間。
但實(shí)際上盲链,更大的不同在于前端信號(hào)處理蝇率。
△ 華為在 IFA 2019 上演示骨傳導(dǎo)通話降噪 | 圖源:深圳灣
當(dāng)我們問起,蘋果和華為的方案有何不同匈仗?大象聲科的技術(shù)專家告訴深圳灣:
AirPods 和 FreeBuds 3 都是利用傳感器信號(hào)作為人聲檢測的標(biāo)志瓢剿,主要用來檢測聲帶振動(dòng)。其中悠轩,AirPods 獲得的信號(hào)是數(shù)字信號(hào)间狂,而 FreeBuds 3 獲得是模擬信號(hào)。
更進(jìn)一步而言火架,無論是 AirPods 還是 FreeBuds 3鉴象,都依賴于傳統(tǒng)的雙麥克風(fēng)進(jìn)行波束形成(beamforming),麥克風(fēng)數(shù)量和陣列設(shè)計(jì)都會(huì)影響信號(hào)采集的精度何鸡。
其他廠商怎么做纺弊?
為了避開蘋果的專利壁壘,一些廠商開始使用額外增加一顆麥克風(fēng)骡男,在波束形成的基礎(chǔ)上淆游,通過增加對(duì)耳機(jī)內(nèi)側(cè)聲音的收集,來彌補(bǔ)外部麥克風(fēng)被噪音占用后隔盛、聲音信號(hào)不足的情況犹菱。
通過增加傳感器數(shù)量來豐富聲音采集的信息量雖然有效,但是片面的吮炕,更重要的是需要對(duì)數(shù)字信號(hào)進(jìn)行分析腊脱、調(diào)整、并向接聽電話的一方輸出更清晰的聲音龙亲。
專家如上的意見也啟發(fā)了我們陕凹,信號(hào)處理是一門學(xué)問,就像我們寫文章鳄炉,單純搜集資料是其一杜耙,消化、整理迎膜、輸出泥技,則更考驗(yàn)功力。
而再看這么多年 AirPods 在通話降噪上的體驗(yàn)一直領(lǐng)先,很大程度上在于蘋果在軟件珊豹、硬件的集成優(yōu)勢簸呈。
如今,有機(jī)會(huì)打破蘋果一家獨(dú)大的局面了店茶。
大象聲科 AI 骨傳導(dǎo)通話降噪方案蜕便,如何突破傳統(tǒng)?
漫步者 DreamPods 是首款應(yīng)用大象聲科 Vocplus AI 骨傳導(dǎo)通話降噪技術(shù)方案的 TWS 耳機(jī)贩幻。
大象聲科 Vocplus AI 骨傳降噪技術(shù)是基于深度神經(jīng)網(wǎng)絡(luò)(DNN)的語音提取技術(shù)轿腺,能夠高效融合麥克風(fēng)信號(hào)和骨振動(dòng)信號(hào),利用 DNN 強(qiáng)大的建模能力丛楚,實(shí)時(shí)分離人聲和噪聲族壳,同時(shí)有效隔絕周圍人的聲音。
通過與大象聲科技術(shù)團(tuán)隊(duì)的交談趣些,我們了解到了用于 DreamPods 的 AI 骨傳通話降噪技術(shù)仿荆,在以下幾個(gè)層面實(shí)現(xiàn)了對(duì)傳統(tǒng)通話降噪技術(shù)的突破。
1坏平、對(duì)于復(fù)雜噪音信號(hào)的建模能力
傳統(tǒng)信號(hào)處理本質(zhì)上基于線性濾波的思想拢操,對(duì)語音和噪聲信號(hào)建模。但傳統(tǒng)信號(hào)處理模型假設(shè)過于簡單舶替,無法針對(duì)咖啡館等環(huán)境所產(chǎn)生復(fù)雜噪音信號(hào)令境,進(jìn)行有效的刻畫。
而大象聲科采用的是深度學(xué)習(xí)技術(shù)顾瞪,能夠?qū)Ω鼮閺?fù)雜的信號(hào)進(jìn)行有效刻畫舔庶。
2、更強(qiáng)的 AI 自適應(yīng)能力
同時(shí)陈醒,傳統(tǒng)信號(hào)處理采用的是人工設(shè)計(jì)的算法對(duì)模型參數(shù)進(jìn)行估計(jì)栖茉,很難自動(dòng)適應(yīng)各種場景,導(dǎo)致后期調(diào)參工作量十分巨大孵延。
在同一顆支持通話降噪的芯片上設(shè)計(jì)的產(chǎn)品,因?yàn)閳F(tuán)隊(duì)在算法調(diào)教上的思路不同亲配,或是打磨的時(shí)間長短不一尘应,導(dǎo)致在不同的產(chǎn)品上、不同的環(huán)境中吼虎,通話效果差別很大犬钢。
大象聲科的 AI 語音降噪技術(shù),是一種基于數(shù)據(jù)驅(qū)動(dòng)的方法思灰,模型參數(shù)通過使用海量的訓(xùn)練樣本自動(dòng)估計(jì)玷犹,使算法有更強(qiáng)的適應(yīng)能力。
3洒疚、對(duì)佩戴者語音通話的人聲識(shí)別能力
用戶使用 TWS 耳機(jī)的場景復(fù)雜多變歹颓,對(duì)降噪算法的挑戰(zhàn)更大坯屿。
尤其是在某些極端的場景中(如嘈雜的地鐵車站、擁擠的地鐵車廂)巍扛,耳機(jī)麥克風(fēng)收到的語音信號(hào)幾乎完全被噪音遮蓋领跛,佩戴者在通話時(shí)的人聲很難被準(zhǔn)確識(shí)別,同時(shí)撤奸,車廂里其他干擾的人聲也不能被有效隔離吠昭。
這時(shí)候,一顆骨傳導(dǎo)傳感器(即 AirPods 中使用的語音加速傳感器)就可以準(zhǔn)確接收佩戴者說話時(shí)的骨振動(dòng)信號(hào)胧瓜,不受外部噪音的干擾矢棚。
大象聲科是國內(nèi)首家與意法半導(dǎo)體合作推出骨傳導(dǎo)通話降噪的算法廠商,軟硬結(jié)合府喳,獨(dú)立性更強(qiáng)蒲肋。
4、通過算法彌補(bǔ)骨傳導(dǎo)傳感器或麥克風(fēng)信號(hào)采集的不足
單純使用骨傳導(dǎo)傳感器劫拢,在不加任何算法的情況下幾乎可以完全隔絕外部噪音肉津。但其最大的問題是,骨傳導(dǎo)傳感器采集的信號(hào)頻率寬度有限舱沧,在實(shí)際耳機(jī)產(chǎn)品上妹沙,上限頻率只能到達(dá) 800Hz 左右,無法滿足通話需求熟吏。
換句話說距糖,普通麥克風(fēng)頻寬夠,但有噪聲牵寺,而骨傳導(dǎo)傳感器無噪聲悍引,但頻寬有限。
大象聲科骨傳導(dǎo)通話方案同時(shí)使用骨傳導(dǎo)傳感器和單顆麥克風(fēng)帽氓,利用 AI 技術(shù)將二者采集的信號(hào)進(jìn)行有機(jī)的融合趣斤。利用骨傳導(dǎo)信號(hào)提供的重要聲學(xué)特征(如 VAD 和基音信息)對(duì)麥克風(fēng)信號(hào)進(jìn)行降噪和融合,達(dá)到比直接對(duì)麥克風(fēng)信號(hào)進(jìn)行降噪更好的效果黎休。
并且浓领,整個(gè)這一過程由 AI 自動(dòng)完成,不需要進(jìn)行人工提取特征參數(shù)势腮。
5联贩、單顆麥克風(fēng)+骨傳導(dǎo)組合
如前文所述,AirPods 采用骨傳導(dǎo)傳感器 + 2 顆麥克風(fēng)的方案捎拯,利用骨傳導(dǎo)信號(hào)幫助估計(jì)波束成形的參數(shù)泪幌,提升降噪效果。顯然,受限于麥克風(fēng)的數(shù)量祸泪,波束成形的降噪能力依然有限吗浩。
而大象聲科的 AI 骨傳導(dǎo)通話降噪方案,本質(zhì)上依然是基于深度學(xué)習(xí)的單麥降噪技術(shù)浴滴,只是借助了骨傳導(dǎo)信號(hào)所提供的信號(hào)拓萌,并將骨振動(dòng)傳感器信號(hào)和用于通話麥克風(fēng)信號(hào)一起送入 DNN,經(jīng) DNN 模塊預(yù)測升略,實(shí)時(shí)分離人聲和背景噪聲微王,提取清晰人聲,從而大幅度提升通話的清晰度品嚣。
以上幾方面的技術(shù)疊加炕倘,最終實(shí)現(xiàn)了 DreamPods 這款耳機(jī)在超低信噪比場景的高清通話,以及對(duì)于周圍人聲干擾的完全隔離——也就是前文描述的翰撑,通話對(duì)方感覺不到你身處噪音環(huán)境罩旋,感覺不到你旁邊有人說話。
值得一提的是眶诈,在實(shí)現(xiàn)單麥 AI 骨傳導(dǎo)通話降噪技術(shù)的落地之前涨醋,大象聲科是全球范圍內(nèi)最早在手機(jī)端實(shí)現(xiàn)單麥 AI 通話降噪的公司,目前國產(chǎn)很多安卓手機(jī)包括小米逝撬、OPPO浴骂、vivo 等都搭載了他們的技術(shù)。
大象聲科也同時(shí)提供單麥/雙麥 AI 單雙麥通話降噪方案宪潮,在去年深圳灣的新硬件峰會(huì)上溯警,大象聲科創(chuàng)始人苗健彰(Eric Miao)曾經(jīng)為我們做過詳細(xì)的介紹。
△ 大象聲科創(chuàng)始人苗健彰(Eric Miao) | 圖源:深圳灣
橫比分析:DreamPods狡相,AirPods Pro梯轻,F(xiàn)reeBuds 3 通話降噪性能實(shí)測
在大象聲科技術(shù)團(tuán)隊(duì)的指導(dǎo)下,我們對(duì) DreamPods尽棕、AirPods Pro 和 FreeBuds 3 這三款 TWS 的通話降噪效果喳挑,進(jìn)行了一次專業(yè)的降噪性能測試。
測試選擇的環(huán)境是十字路口噪聲場景下滔悉,對(duì)比方法是三組兩兩對(duì)比測試蟀悦。
我們將左右兩耳分別佩戴 AirPods Pro 和 DreamPods,兩個(gè)耳機(jī)分別連上手機(jī)藍(lán)牙打電話氧敢,并開啟華為手機(jī)自帶的電話錄音功能,錄下通話音頻询张。
△ AirPods Pro vs DreamPods 對(duì)比音頻 | 圖源:大象聲科
在該場景下孙乖,二者語音都非常清晰,聲音連續(xù)。從降噪方面唯袄,DreamPods 對(duì)于穩(wěn)態(tài)和非穩(wěn)態(tài)噪聲都抑制的非常好弯屈。
細(xì)微之處,AirPods Pro 在 5.5s 的頻譜圖上恋拷,表現(xiàn)出明顯的非穩(wěn)態(tài)噪音——實(shí)際體驗(yàn)則是非常清晰的鳴笛聲资厉,而這種聲音往往會(huì)對(duì)目標(biāo)人聲造成一定的干擾。
而在同一時(shí)間段蔬顾,DreamPods 幾乎看不到噪音譜——正如我們開篇體驗(yàn)的那樣宴偿,幾乎完全聽不到公交車的鳴笛聲。
我們?cè)倏匆幌?FreeBuds 3 和 DreamPods 的對(duì)比表現(xiàn)诀豁。
△ FreeBuds 3 vs DreamPods 對(duì)比音頻 | 圖源:大象聲科
兩副耳機(jī)的語音通話都比較清晰窄刘,DreamPods 對(duì)于穩(wěn)態(tài)噪聲方面略優(yōu)于 FreeBuds 3,而在非穩(wěn)態(tài)噪聲方面舷胜,DreamPods 明顯優(yōu)于 FreeBuds 3娩践。
從頻譜圖上可以看出,F(xiàn)reeBuds 3 有不少穩(wěn)態(tài)噪聲的殘留烹骨。而 DreamPods 完全沒有翻伺。瞬態(tài)噪聲方面,DreamPods 也能做到幾乎完全的壓制沮焕,明顯優(yōu)于 FreeBuds 3吨岭。
我們前文提到,AirPods Pro 和 FreeBuds 3 均采集了骨傳導(dǎo)信號(hào)遇汞,但因?yàn)閭鞲衅鞯牟煌疵茫罢卟杉氖菙?shù)字信號(hào),而后者為模擬信號(hào)空入。二者通話降噪對(duì)比有何差異呢络它?
△ AirPods Pro vs FreeBuds 3 對(duì)比音頻 | 圖源:大象聲科
對(duì)比頻譜圖并沒有特別大的差異。Airpods Pro 相比 FreeBuds 3 在高頻上語音保留更多歪赢,聽起來更亮一些化戳,更加清晰、飽滿埋凯。
而降噪方面点楼,F(xiàn)reeBuds 3 對(duì)于穩(wěn)態(tài)噪聲消除優(yōu)于 Airpods Pro,而對(duì)于剎車聲這樣的非穩(wěn)態(tài)噪聲白对,二者幾乎都沒有做相應(yīng)的抑制掠廓,因此聽上去非常的刺耳。
灣里小結(jié)
這兩年甩恼,隨著 TWS 藍(lán)牙芯片技術(shù)的日漸成熟蟀瞧,藍(lán)牙連接穩(wěn)定性沉颂、低功耗和長續(xù)航,越來越多的 TWS 產(chǎn)品涌入市場悦污。
在市場完成初步的教育后铸屉,接下來各大耳機(jī)廠商比拼的就是降噪性能和差異化,而卓越的通話降噪體驗(yàn)首當(dāng)其沖切端。
漫步者 DreamPods 只是一個(gè)縮影彻坛,只是大象聲科 AI 骨傳導(dǎo)降噪技術(shù)在 TWS 上的一次落地嘗試。但是踏枣,隨著技術(shù)的逐步成熟昌屉,我們可以看到 AI 語音技術(shù)在終端產(chǎn)品上的應(yīng)用,已然成為趨勢椰于。
未來怠益,將會(huì)有更多的 TWS 耳機(jī),將「AI 語音降噪」作為產(chǎn)品標(biāo)配瘾婿,而大象聲科的實(shí)力蜻牢,不容忽視。
微信號(hào):shenzhenware
主筆:陳壹零 / 深圳灣
編輯:森林木 / 深圳灣