早在今年 6 月汹碱，XR 公司 Rokid 即與游戲引擎公司 Cocos 達成戰(zhàn)略合作，通過技術和生態(tài)支持荞估，全鏈路助力 XR 開發(fā)者咳促。

而培養(yǎng) XR 內容開發(fā)者，推動生態(tài)成熟勘伺，也是合作中的重要環(huán)節(jié)跪腹。

9 月 24 日，雙方首次在深圳聯(lián)合舉辦了一場集主題分享飞醉、產品體驗的開放日活動冲茸，邀請了包括 Rokid、Cocos缅帘、網易等技術生態(tài)專家轴术，與在場的超 200 位開發(fā)者們，就行業(yè)發(fā)展趨勢钦无、內容研發(fā)的挑戰(zhàn)膳音、技術落地和生態(tài)扶持等方面進行了深度探討。

打破開發(fā)者創(chuàng)作「瓶頸」铃诬，XR 內容編輯器發(fā)布

隨著 XR 行業(yè)逐漸進入爆發(fā)期，應用場景不斷深入苍凛，市場也需要進一步提升內容開發(fā)效率趣席，降低開發(fā)門檻。

Cocos XR 技術總監(jiān)王慶利介紹了當前 XR 行業(yè)所普遍面臨的痛點醇蝴，如：高分辨率帶來的高運行壓力宣肚、透鏡畸變、眩暈問題悠栓、定位的穩(wěn)定性與實時性等霉涨。

針對這些痛點按价， Cocos 率先推出了 XR 內容一站式解決方案，即基于 Creator 編輯器的 XR 拓展套件笙瑟，旨在降低 XR 開發(fā)技術門檻楼镐，并通過自身的高兼容性抹平不同設備與平臺之間的差異，助力優(yōu)秀內容的多平臺分發(fā)與成長往枷。

△ Cocos XR 技術總監(jiān)王慶利

Cocos XR 產品經理翟昊宸認為：存量項目快速轉化框产、多平臺適配、網頁端快速預覽错洁、圖形后端智能化是 Cocos CreatorXR 的四大特性優(yōu)勢秉宿。

△ Cocos XR 產品經理翟昊宸

值得一提的是，Cocos CreatorXR 還全面集成了 Rokid Air 的內容開發(fā)環(huán)境屯碴，即 Cocos 開發(fā)者無需其它 SDK描睦，就能將構建好的數字內容輕松發(fā)布到 Rokid Air上運行。

目前导而，基于 Cocos CreatorXR 開發(fā)的 AR 游戲《幽靈射手》XR 版已經正式登陸 Rokid Air 應用商店忱叭，全新的游戲界面和交互體驗受到了眾多用戶的歡迎，一度霸榜 Rokid Air 應用商店嗡载。

開放硬核視聽和交互技術窑多，助開發(fā)者「躍升」

當下的 XR 生態(tài)內容仍然以輕量應用為主，但能夠支持更自然的交互體驗洼滚，更具開放性埂息、社交屬性，能提供更多價值的 XR 應用將是必然發(fā)展趨勢遥巴。

開發(fā)者如何從輕量應用實現躍升千康，打造出更加精品的應用？

Rokid AR 軟件研發(fā)負責人楊劍铲掐、應用平臺產品負責人朱雷分享了 Rokid 在數字人拾弃、3D 內容創(chuàng)作、空間協(xié)同摆霉、視聽交互豪椿、手勢交互等方面為開發(fā)者帶來的硬核技術支持。

在朱雷看來携栋，Rokid 更關注的是如何將真實世界與虛擬世界融合搭盾，因此在底層技術上，也更關注感知婉支、理解鸯隅、協(xié)同、展現向挖、數字資產五個方面的能力蝌以。

圍繞這五個層面炕舵，Rokid 有著自己的思考和探索。其中跟畅，在 XR 互動技術方面咽筋，Rokid 就通過 6DoF 空間聲場、視覺感知算法碍彭、實時音視頻等方面的技術能力晤硕，助力 XR 開發(fā)者打造全新的視聽體驗。

△ Rokid 應用平臺產品負責人朱雷

在視覺方面庇忌，Rokid 推出了包括物體識別舞箍、手勢交互、視覺定位等技術的視覺感知端云一體的 PaaS 平臺皆疹。

可以通過「視覺定位+語音+手勢交互」的強強組合疏橄，支持開發(fā)者在文旅展陳、數字展廳略就、娛樂等方面突破物理空間限制捎迫，打造出能夠實現移步換景等更具互動體驗的應用。

目前表牢，這一能力已被運用到釘釘在 2022 秋季釘峰會上發(fā)布的 AR 數字展廳解決方案中窄绒，并且首個企業(yè) AR 數字展廳也已在釘釘園區(qū)展廳落地。

在聽覺方面崔兴，Rokid 自研 6DoF 空間聲場技術彰导，采用了 HRTF 和 3D 空間處理技術，以及針對距離的 EQ 補償技術敲茄，渲染出因空間位置變化和遮擋帶來的聲音空間感的變化位谋，為人耳帶來更真實的聽覺體驗。這一能力已集成 SDK 對外開放堰燎，支持開發(fā)者在游戲掏父、娛樂影音等應用中打造更具沉浸感的聲音體驗。

楊劍則分享了 Rokid 自研的 YodaOS-XR 操作系統(tǒng)秆剪、基于 Air/Air Pro 眼鏡的 UXR SDK赊淑，以及全新升級的 Rokid 自研多人在線協(xié)同應用 MSpace，并正式對外發(fā)布 3D 內容創(chuàng)作平臺 MStudio仅讽，邀請開發(fā)者一同共建 MSpace 生態(tài)膏燃。

Rokid 自研的 YodaOS-XR 操作系統(tǒng)，涵蓋了 Rokid 硬件和軟件的能力何什。

系統(tǒng)基于傳統(tǒng)的 OS 作為底層，在這之上構建了較為完善的感知系統(tǒng)等龙、理解系統(tǒng)和展現系統(tǒng)处渣，包含了對應的 AI 和 AR 能力伶贰、XR 云服務以及多個服務和引擎，如百靈鳥語音服務罐栈，空間引擎和數字人引擎黍衙。

同時，也為開發(fā)者提供了大量平臺 SDK 和基礎 SDK荠诬，并支持 OpenXR 標準琅翻，可以進一步降低開發(fā)者開發(fā)門檻。

△ Rokid AR 軟件研發(fā)負責人楊劍

除了系統(tǒng)層的支持柑贞，楊劍表示方椎，基于 Rokid Air/Air Pro 眼鏡等硬件設備，Rokid 還為開發(fā)者提供了 UXR SDK钧嘶，支持雙目立體渲染棠众、3DoF 的頭部追蹤，以及多模態(tài)的交互有决。

其中闸拿，交互方式可使用按鍵觸屏、頭控书幕、手勢新荤、語音、鼠標台汇、游戲手柄苛骨、虛擬手柄等；離線語音識別則支持中/英文指令励七；手勢識別支持 4 種 2D 手勢類型智袭，以及 21 個關鍵點信息，支持左右手識別掠抬，并且內置了三種虛擬手柄類型可控切換吼野。

MSpace 集成了數字人、空間協(xié)同等技術能力两波，其中數字人采用實時音頻驅動瞳步，可以支持捏臉換裝；空間協(xié)同則實現了低延時多人同步腰奋，支持模型互動单起、數字人表情和動作與真人實時同步等。

這些能力都將通過 SDK 的方式提供給行業(yè)開發(fā)者劣坊，助力開發(fā)者突破行業(yè)技術難題嘀倒，快速構建 AR 空間協(xié)同應用。MStudio 作為 3D 內容創(chuàng)作平臺，可以為開發(fā)者提供在線 3D 模型测蘑。

空間站計劃+開發(fā)大賽雙重賦能灌危，打造開發(fā)者的「高光時刻」

XR 生態(tài)的構建還離不開工具方、設備方碳胳、內容平臺方以及各位開發(fā)者的共同努力勇蝙，Rokid 與 Cocos 也正在通過各種方式降低開發(fā)者的開發(fā)成本、獲得更高回報挨约。

Cocos 生態(tài)總監(jiān)大表姐介紹道味混，在打造 XR 開發(fā)工具鏈之外，Cocos 還為開發(fā)者準備了大量教程和演示項目：比如由我們 XR 團隊基于 Cocos CreatorXR 開發(fā)的《幽靈射手》XR 版诫惭，后期也將開源給大家翁锡。

△ Cocos 生態(tài)總監(jiān)大表姐

同時，網易智企 CEO 助理贝攒、游戲解決方案架構負責人沈喬治還從扶持政策盗誊、運營策略方面進行了分享。

△ 網易智企 CEO 助理隘弊、游戲解決方案架構負責人沈喬治

Rokid 生態(tài)拓展負責人冉旭則表示：Rokid 為開發(fā)者們量身打造的「若琪空間站」開發(fā)者助力計劃哈踱，將在硬件設備、算法能力梨熙、開發(fā)支持开镣、市場推廣等方面為開發(fā)者提供助力，同時聯(lián)合多個行業(yè)頭部企業(yè)與 VC 成立 10 億人民幣規(guī)模的生態(tài)智投聯(lián)盟咽扇，對優(yōu)秀的開發(fā)者直接投資邪财，極大推動了 XR 生態(tài)發(fā)展。

△ Rokid 生態(tài)拓展負責人冉旭

在大力扶持開發(fā)者的同時质欲，Rokid 還在前不久正式啟動首屆全球 AR 應用開發(fā)大賽树埠。大賽將通過豐富的獎項設置、資源和商機支持等嘶伟，鼓勵更多開發(fā)者基于 Rokid 的開放能力與平臺服務怎憋、Cocos 3D 引擎和聲網 RTE 服務，創(chuàng)造更多優(yōu)秀的 XR 應用與游戲九昧，實現技術绊袋、產品與商業(yè)創(chuàng)新，為全球用戶帶來更豐富铸鹰、優(yōu)質癌别、新奇的 XR 體驗，進一步加速 XR 行業(yè)生態(tài)繁榮蹋笼。

編輯：達達 / 深圳灣