2021 年過(guò)去了，回顧這一年，實(shí)時(shí)互動(dòng)行業(yè)正在加速發(fā)展。作為實(shí)時(shí)互動(dòng)云服務(wù)開(kāi)創(chuàng)者和引領(lǐng)者，聲網(wǎng)Agora也未曾停歇，不斷通過(guò)技術(shù)的創(chuàng)新、場(chǎng)景體驗(yàn)的提升，探索著實(shí)時(shí)互動(dòng)場(chǎng)景的更多可能性。

這份年終回顧，包含了聲網(wǎng)Agora 2021 年在技術(shù)探索中“摸黑”走過(guò)的路，將所有技術(shù)組件鏈接后的成果，還有聲網(wǎng)與開(kāi)發(fā)者們、為開(kāi)發(fā)者們做過(guò)的項(xiàng)目，以及 2021 年那些值得銘記的事件。

聲網(wǎng)Agora年度大事件

· 實(shí)時(shí)互動(dòng)行業(yè)風(fēng)向標(biāo)大會(huì) RTE2021圓滿落幕

10月22日-23日，由聲網(wǎng)主辦的 RTE2021 實(shí)時(shí)互聯(lián)網(wǎng)大會(huì)在北京舉行，為期兩天的大會(huì)聚集RTE技術(shù)領(lǐng)袖、行業(yè)大佬、知名投資人、優(yōu)秀創(chuàng)業(yè)者，帶來(lái)20+前沿論壇及活動(dòng)、近百場(chǎng)精彩分享。本次大會(huì)以“萬(wàn)象頻道”為主題，圍繞實(shí)時(shí)互動(dòng)行業(yè)一年來(lái)的行業(yè)變遷、趨勢(shì)展望進(jìn)行深度分享與探討，從場(chǎng)景、技術(shù)、產(chǎn)品、生態(tài)等多個(gè)維度展現(xiàn)實(shí)時(shí)互聯(lián)網(wǎng)萬(wàn)象紛呈。

RTE實(shí)時(shí)互聯(lián)網(wǎng)大會(huì)是聲網(wǎng)主辦的實(shí)時(shí)互動(dòng)行業(yè)風(fēng)向標(biāo)大會(huì)，也是全球規(guī)模最大最權(quán)威的RTE盛會(huì)，每年一屆，致力于為開(kāi)發(fā)者布道實(shí)時(shí)互動(dòng)技術(shù)，并為全行業(yè)帶來(lái)最前沿的前瞻觀察。今年大會(huì)給參會(huì)者帶來(lái)了前所未有的體驗(yàn)，聲網(wǎng)將這一年最受行業(yè)關(guān)注的熱點(diǎn)都“搬”到了大會(huì)現(xiàn)場(chǎng)。無(wú)論是酷炫的展區(qū)、獨(dú)特的開(kāi)場(chǎng)方式還是令人難忘的開(kāi)發(fā)者Party，每一個(gè)環(huán)節(jié)都帶來(lái)全新體驗(yàn)。

·發(fā)布《RTE萬(wàn)象圖譜》 行業(yè)首個(gè)RTE全場(chǎng)景雛形

在RTE2021實(shí)時(shí)互聯(lián)網(wǎng)大會(huì)上，聲網(wǎng)發(fā)布了基于實(shí)時(shí)互動(dòng)場(chǎng)景的“RTE萬(wàn)象圖譜”，共覆蓋教育、泛娛樂(lè)、IoT、金融、醫(yī)療、企業(yè)協(xié)作、數(shù)字政府、智慧城市等20+行業(yè)賽道，200+場(chǎng)景。這也是RTE行業(yè)首個(gè)全場(chǎng)景的雛形，為行業(yè)開(kāi)發(fā)者和創(chuàng)業(yè)者挖掘場(chǎng)景，做產(chǎn)品和技術(shù)創(chuàng)新提供更多可能性。

·超音速計(jì)劃 打造RTE賽道首個(gè)最有影響力的創(chuàng)業(yè)者社區(qū)

2021年7月，聲網(wǎng)再次聯(lián)合五源資本，推出創(chuàng)業(yè)伙伴系列活動(dòng)--「超音速計(jì)劃」。幫助實(shí)時(shí)互動(dòng)領(lǐng)域的創(chuàng)業(yè)企業(yè)加速成長(zhǎng)，共同定義和擴(kuò)大實(shí)時(shí)互動(dòng)賽道，建立實(shí)時(shí)互動(dòng)領(lǐng)域頂尖創(chuàng)業(yè)社群。在超音速計(jì)劃中，聲網(wǎng)攜手頂級(jí)投資機(jī)構(gòu)、跨國(guó)企業(yè)的創(chuàng)業(yè)生態(tài)部門(mén)、云市場(chǎng)伙伴等生態(tài)力量，為創(chuàng)業(yè)者提供創(chuàng)業(yè)課程和創(chuàng)業(yè)伙伴營(yíng)、生態(tài)產(chǎn)品免費(fèi)套餐包、技術(shù)支持、投資咨詢等資源扶持，賦能開(kāi)發(fā)者以更低成本、更高效的實(shí)現(xiàn)創(chuàng)新創(chuàng)業(yè)。經(jīng)過(guò)二十多天的招募和甄選，最終20個(gè)項(xiàng)目從133個(gè)報(bào)名項(xiàng)目中脫穎而出，成為首期「超音速計(jì)劃」創(chuàng)業(yè)伙伴。

·RTE2021編程挑戰(zhàn)賽圓滿收官

2021年6月 ，由聲網(wǎng)與環(huán)信聯(lián)合主辦的“RTE 2021 編程挑戰(zhàn)賽”圓滿落幕。從 200+ 支參賽隊(duì)伍中沖出重圍的 46 支決賽隊(duì)伍用精彩的答辯為歷時(shí) 2 個(gè)多月的大賽劃下了圓滿的句號(hào)。

本次大賽的決賽和頒獎(jiǎng)通過(guò) Agora Video Call App 在線上進(jìn)行，全程通過(guò) B 站進(jìn)行了直播。最終，決賽共誕生了應(yīng)用創(chuàng)新賽道的一、二、三等獎(jiǎng)團(tuán)隊(duì)各一名，“環(huán)信專(zhuān)項(xiàng)獎(jiǎng)”一名，以及“優(yōu)秀獎(jiǎng)” 六名;技術(shù)創(chuàng)新賽道“技術(shù)創(chuàng)新專(zhuān)項(xiàng)獎(jiǎng)”一名，“優(yōu)秀獎(jiǎng)”一名。

·聲網(wǎng)收購(gòu)環(huán)信 強(qiáng)強(qiáng)聯(lián)合打造RTC+IM產(chǎn)品組合

2021年第一季度，聲網(wǎng)完成收購(gòu)中國(guó)領(lǐng)先的即時(shí)通訊云和客服云服務(wù)商環(huán)信Easemob 。雙方在產(chǎn)品層面進(jìn)行深度結(jié)合，基于聲網(wǎng)在 RTC 領(lǐng)域和環(huán)信在即時(shí)通訊(IM)領(lǐng)域的領(lǐng)先優(yōu)勢(shì)，共同打造實(shí)時(shí)互動(dòng)云行業(yè)最強(qiáng) RTC+IM 產(chǎn)品組合。

·全品類(lèi)、全球范圍安全合規(guī)認(rèn)證

近日，聲網(wǎng)Agora正式獲得由國(guó)際權(quán)威的質(zhì)量認(rèn)證和風(fēng)險(xiǎn)管理機(jī)構(gòu)DNV頒發(fā)的ISO/IEC 27701隱私信息管理體系認(rèn)證證書(shū)。這也是聲網(wǎng)繼獲得ISO/IEC 27001、ISO/IEC 27017、ISO/IEC 27018體系認(rèn)證、公安部信息安全等級(jí)保護(hù)三級(jí)認(rèn)證、SOC2 Type II服務(wù)鑒證報(bào)告后，再次獲得的一項(xiàng)全球隱私保護(hù)領(lǐng)域的權(quán)威認(rèn)證，這標(biāo)志著聲網(wǎng)的信息安全及隱私相關(guān)管理體系管控已進(jìn)入全球范圍內(nèi)的先進(jìn)行列，也將為客戶帶來(lái)更堅(jiān)實(shí)的信息安全保障。

新產(chǎn)品落地

·教育行業(yè)首款aPaaS產(chǎn)品 靈動(dòng)課堂

2021年1月，聲網(wǎng)發(fā)布了教育行業(yè)首款aPaaS產(chǎn)品靈動(dòng)課堂，節(jié)省 90%+ 開(kāi)發(fā)時(shí)間，15 分鐘即可上線自有品牌的全功能在線互動(dòng)教學(xué)平臺(tái)，滿足靈活定制和低代碼接入的開(kāi)發(fā)需求。同期，聲網(wǎng)還正式發(fā)布業(yè)界首個(gè)支持H5課件的白板PaaS產(chǎn)品“互動(dòng)白板”，幫助提升課堂實(shí)時(shí)互動(dòng)體驗(yàn)，增強(qiáng)教學(xué)場(chǎng)景的趣味性。

·全鏈路加速FPA

2021年8月，聲網(wǎng)正式發(fā)布“全鏈路加速FPA(Full-Path Accelerator)”，基于聲網(wǎng)的軟件定義實(shí)時(shí)網(wǎng)絡(luò)SD-RTN™，通過(guò)覆蓋全球的多點(diǎn)端到端傳輸優(yōu)化，全面提升了包含最后一公里(Last Mile)在內(nèi)的全網(wǎng)傳輸性能和可靠性，并通過(guò)“云”和“端”的高效協(xié)同優(yōu)化，為企業(yè)的應(yīng)用加上網(wǎng)絡(luò)QoS保障。平均提升終端用戶訪問(wèn)性能 100%，實(shí)現(xiàn)全球高質(zhì)量網(wǎng)絡(luò)覆蓋，只需要3行代碼。

·融合 CDN 直播

2021年10月，聲網(wǎng)推出全新直播產(chǎn)品“融合CDN直播”，可提供卡頓率低于1%的超流暢 CDN 直播服務(wù)，同時(shí)還提供All-in-one的SDK，最大程度降低開(kāi)發(fā)者的開(kāi)發(fā)門(mén)檻，開(kāi)發(fā)者可以在一個(gè)SDK內(nèi)，自由組合使用超低延時(shí)直播、低延時(shí)直播和標(biāo)準(zhǔn) CDN 直播等各類(lèi)功能，順暢切換，這也標(biāo)志著聲網(wǎng)可以通過(guò)一個(gè) SDK拉通所有延遲等級(jí)的直播需求。

·水晶球3.0 上線

2021年，聲網(wǎng)正式上線水晶球3.0版本，新增“實(shí)時(shí)監(jiān)控”、“告警通知”兩大功能，能幫助開(kāi)發(fā)者和企業(yè)用更為主動(dòng)的方式來(lái)監(jiān)測(cè)實(shí)時(shí)音視頻用量、質(zhì)量情況，時(shí)刻做到對(duì)項(xiàng)目運(yùn)行狀況”心里有數(shù)“，及時(shí)發(fā)現(xiàn)異常問(wèn)題，并高效解決問(wèn)題，最終實(shí)現(xiàn)產(chǎn)品質(zhì)量保障，提升客戶的運(yùn)營(yíng)效率和用戶的體驗(yàn)。

·全新云市場(chǎng)

2021年10月，聲網(wǎng)發(fā)布了全新云市場(chǎng)，全新升級(jí)的云市場(chǎng)具備三大核心亮點(diǎn)：為開(kāi)發(fā)者構(gòu)建RTE應(yīng)用提供豐富的國(guó)內(nèi)外第三方插件和一站式插件管理系統(tǒng);開(kāi)發(fā)者集成RTE模塊效率提升95%;針對(duì)提供插件的合作伙伴，接入云市場(chǎng)的效率提升了超過(guò)90%。

場(chǎng)景與行業(yè)突破

·MetaChat元語(yǔ)聊

2021年12月，聲網(wǎng)發(fā)布 MetaChat 元語(yǔ)聊解決方案，提供了一種全新的語(yǔ)聊方式——用戶以虛擬形象參與到暢聊中，每個(gè)語(yǔ)聊房可以支持16位玩家，每位玩家都可以看到其他玩家的Avatar，且可以與任一玩家進(jìn)行動(dòng)作互動(dòng)，還可以在任意空座位上就坐，在吧臺(tái)喝飲料、起舞等。同時(shí)，還支持 360° 空間音頻，可以為語(yǔ)聊房中的玩家?guī)?lái)身臨其境的聊天體驗(yàn)和更為沉浸的在場(chǎng)參與感，讓溝通更高效、更有趣。

·在線K歌房

2021年9月，聲網(wǎng)在北京舉辦主題為“K歌有聲·想唱就唱”的發(fā)布會(huì)，正式發(fā)布了在線 K 歌房場(chǎng)景化解決方案，開(kāi)發(fā)者與企業(yè)可一站式接入海量正版曲庫(kù)與K歌組件、場(chǎng)景功能，快速構(gòu)建在線 K 歌房，并廣泛應(yīng)用在在線音樂(lè)、語(yǔ)聊房、直播、視頻相親等各類(lèi)社交泛娛樂(lè)場(chǎng)景，為產(chǎn)品帶來(lái)更多創(chuàng)新與增長(zhǎng)空間。

·全息虛擬偶像演唱會(huì)

去年8月，在上海Vapollo Theater，國(guó)內(nèi)首場(chǎng)虛擬偶像神樂(lè)七奈實(shí)時(shí)跨國(guó)演唱會(huì)成功落地，現(xiàn)場(chǎng)上座率超95%。支持這場(chǎng)演出的技術(shù)公司正是創(chuàng)幻科技，其背后虛擬偶像演出音頻的實(shí)時(shí)遠(yuǎn)程傳輸技術(shù)則由聲網(wǎng)提供，并給予了高質(zhì)量、高可靠、低延時(shí)的解決方案。

·電商直播

聲網(wǎng)與全球領(lǐng)先的電商平臺(tái)之一合作，為其提供穩(wěn)定可靠、低延時(shí)的電商直播連麥解決方案。以往的電商直播中，最常見(jiàn)的帶貨方式為單個(gè)直播間內(nèi)1-2位主播直播帶貨，而從去年開(kāi)始，直播連麥帶貨正受到越來(lái)越多主播與觀眾的喜愛(ài)。而在聲網(wǎng)的技術(shù)支持下，電商平臺(tái)可以通過(guò)嘉賓連麥、觀眾連麥、PK帶貨等多種互動(dòng)方式，來(lái)提升直播間的引流效果與銷(xiāo)售額。

·音頻直播

圍繞播客場(chǎng)景，Castbox 近年來(lái)推出了一系列基于內(nèi)容的互動(dòng)評(píng)論區(qū)、社區(qū)以及音頻直播(Livecast)等場(chǎng)景，而聲網(wǎng)Agora 正是其背后的實(shí)時(shí)音視頻服務(wù)提供商。聲網(wǎng)自建的軟件定義實(shí)時(shí)網(wǎng) SD-RTN™ 覆蓋了 200+ 國(guó)家與地區(qū)，擁有超低延時(shí)、高并發(fā)、高可用等特性，為L(zhǎng)ivecast 場(chǎng)景在全球范圍內(nèi)的高流暢、高穩(wěn)定和高并發(fā)需求，提供了有力支撐。

·VR/XR遠(yuǎn)程協(xié)作

2021年5月，聲網(wǎng)Agora宣布其視頻 SDK 現(xiàn)已集成到領(lǐng)先的 VR/XR 遠(yuǎn)程協(xié)作及會(huì)議應(yīng)用 HTC VIVE Sync App 中。通過(guò)集成聲網(wǎng)Agora 的視頻 SDK，HTC VIVE Sync App 可以支持 HTC VIVE 用戶和非 VR 用戶在同一虛擬環(huán)境中進(jìn)行更緊密無(wú)縫的遠(yuǎn)程協(xié)作，用戶在不需要穿戴 VR 設(shè)備的情況下也能夠與其他 VR 用戶共享沉浸式體驗(yàn)。

·互動(dòng)播客

2021年 1 月，“互動(dòng)播客”在 RTC 技術(shù)，以及 Elon Musk “流量”的加持下火爆全球，“互動(dòng)播客”是全新的線上興趣/話題式語(yǔ)聊互動(dòng)場(chǎng)景，不論是名人/大V，還是普通網(wǎng)友都可以隨時(shí)開(kāi)啟或參與一場(chǎng)海闊天空的互動(dòng)交流，而且聽(tīng)眾可以隨時(shí)“舉手”上麥參與實(shí)時(shí)互動(dòng)交流。聲網(wǎng)通過(guò)基于網(wǎng)絡(luò)傳輸、編解碼、降噪與回聲消除、碼率自適應(yīng)、弱網(wǎng)對(duì)抗等一系列完備的技術(shù)推出了業(yè)內(nèi)成熟的“互動(dòng)播客場(chǎng)景解決方案”。

·遠(yuǎn)程超聲

聲網(wǎng)助力廣州銥度在全國(guó)多個(gè)縣城上線遠(yuǎn)程實(shí)時(shí)超聲檢查系統(tǒng)，在遠(yuǎn)程超聲的場(chǎng)景中，縣醫(yī)院的超聲科醫(yī)生通過(guò)“銥度”的遠(yuǎn)程會(huì)診系統(tǒng)連線百公里外的基層衛(wèi)生院的醫(yī)師，對(duì)多名患者進(jìn)行一場(chǎng)線上“面對(duì)面”的超聲會(huì)診，整個(gè)會(huì)診過(guò)程，借助聲網(wǎng)的實(shí)時(shí)音視頻技術(shù)，遠(yuǎn)程會(huì)診系統(tǒng)可以實(shí)現(xiàn)高清醫(yī)療超聲影像的實(shí)時(shí)傳輸，醫(yī)生再根據(jù)實(shí)時(shí)的超聲圖像對(duì)患者進(jìn)行實(shí)時(shí)診斷，診斷過(guò)程可以做到超低延時(shí)、高流暢。

·在線自習(xí)室

聲網(wǎng)為“同桌App”等多家教育和社交平臺(tái)提供了自習(xí)直播+自習(xí)課兩種場(chǎng)景的實(shí)時(shí)互動(dòng)解決方案，支持在線自習(xí)室創(chuàng)新場(chǎng)景的上線。同桌在初版開(kāi)始連麥自習(xí)室的音視頻模塊就選擇了聲網(wǎng)，低延遲，高穩(wěn)定性，成熟領(lǐng)先的技術(shù)架構(gòu)使同桌用戶在線上感受到面對(duì)面、積極良好的學(xué)習(xí)氛圍。

·視頻辦醫(yī)保

在聲網(wǎng)助力下，2020 年 12 月，黑龍江省醫(yī)保局上線了全國(guó)首個(gè)醫(yī)保系統(tǒng)視頻遠(yuǎn)程服務(wù)平臺(tái)，從此前的“網(wǎng)上辦“升級(jí)為更加便捷的“視頻辦”，用戶只需通過(guò)APP或者小程序向工作人員發(fā)起視頻通話，并通過(guò)人臉識(shí)別技術(shù)就能快速辦理醫(yī)保。

技術(shù)探索與落地

·ClearVision 1.0 方案，深耕實(shí)時(shí)視頻畫(huà)質(zhì)增強(qiáng)

在實(shí)時(shí)互動(dòng)場(chǎng)景中，視頻畫(huà)質(zhì)很大程度上決定了用戶體驗(yàn)的好壞。聲網(wǎng)視頻技術(shù)團(tuán)隊(duì)在過(guò)去一年中，深耕實(shí)時(shí)視頻畫(huà)質(zhì)增強(qiáng)，上線了 ClearVision 1.0 方案。

ClearVision 1.0 充分利用了視頻采集播放端設(shè)備的平臺(tái)能力，在影響視頻畫(huà)質(zhì)的色彩、清晰度、風(fēng)格化等方向上提供了一站式的解決方案。ClearVision 1.0 支持動(dòng)態(tài)裁剪，可被用于視頻處理模塊，通過(guò)多種功能的動(dòng)態(tài)組合，為用戶提供適用于不同場(chǎng)景的高清視頻通信體驗(yàn)。ClearVision 1.0 包含的功能有：

1)暗光增強(qiáng)功能可以有效的對(duì)暗部區(qū)域進(jìn)行智能補(bǔ)光，同時(shí)避免過(guò)度增強(qiáng)正常曝光的區(qū)域，最大化平衡性能和畫(huà)質(zhì)效果。為了對(duì)抗增強(qiáng)后的負(fù)作用，暗光增強(qiáng)功能融合了色彩飽和度恢復(fù)算法和視頻降噪算法。同時(shí)，該功能還支持了智能場(chǎng)景檢測(cè)，根據(jù)光照條件動(dòng)態(tài)自適應(yīng)地開(kāi)啟和關(guān)閉。

2)色彩增強(qiáng)功能，可以整體提升畫(huà)面色彩的還原度和自然度，使得畫(huà)面色彩更加豐富和逼真，提升主觀視覺(jué)效果。該功能融合了多種膚色識(shí)別算法，確保人物膚色不因?yàn)樯试鰪?qiáng)而變得突兀。

3)視頻降噪功能，大幅降低閃爍噪點(diǎn)，同時(shí)最小化拖影等常見(jiàn)的視頻降噪負(fù)作用。ClearVision 1.0 的視頻降噪功能已應(yīng)用于客戶的低碼高清場(chǎng)景，開(kāi)啟后可節(jié)省 28% - 35%的傳輸碼率。在保證畫(huà)質(zhì)效果的前提下，視頻降噪算法在移動(dòng)平臺(tái)單幀處理時(shí)間低至 1ms，在主流PC平臺(tái)可以支持實(shí)時(shí)處理 1080P 60 幀場(chǎng)景。

另外，ClearVision 1.0 針對(duì)人像美顏?zhàn)隽烁?xì)的優(yōu)化。通過(guò)多圖融合磨皮，動(dòng)態(tài)膚色檢測(cè)，非線性膚色美白映射，分區(qū)銳化等圖像技術(shù)，ClearVision1.0 給用戶提供了更高清自然的人像美顏效果。目前，以上功能已集成于最新版本的聲網(wǎng) SDK 中，具體功能的使用方法，可參考聲網(wǎng)文檔中心。

·全平臺(tái)支持背景分割/替換功能

在線會(huì)議和單主播等場(chǎng)景中，實(shí)現(xiàn)虛擬背景、背景虛化功能，可增加趣味性和私密性。目前，聲網(wǎng)在 Native 和 Web 瀏覽器端都實(shí)現(xiàn)了背景分割/替換功能。未來(lái)，還會(huì)不斷優(yōu)化該功能的性能與效果表現(xiàn)。

·Agora SDK 支持 AV1 編解碼格式

AV1 是一個(gè)開(kāi)源、免版權(quán)費(fèi)的視頻編碼格式，出自 Google 主導(dǎo)的開(kāi)放媒體聯(lián)盟(AOM)。聲網(wǎng)在 2019 年就加入了 AOM 聯(lián)盟。開(kāi)始灰度上線 AV1 編碼。經(jīng)過(guò)測(cè)試，屏幕共享場(chǎng)景同等畫(huà)質(zhì)下AV1 的碼率大約為 H.264 的 1/3 至 1/2。同時(shí)在弱網(wǎng)情況下，清晰度相比H264有明顯提升。

·移動(dòng)端支持 3 倍超分辨率

聲網(wǎng)在 2019 年開(kāi)始在移動(dòng)端實(shí)時(shí)互動(dòng)場(chǎng)景中，通過(guò)超分辨率技術(shù)，讓處于低帶寬、低碼率的用戶也能得到高分辨率、高清晰度的畫(huà)質(zhì)。在最新的版本中，進(jìn)一步優(yōu)化了超分辨率算法的復(fù)雜度，可為部分低端機(jī)型用戶帶來(lái)更好的體驗(yàn)。同時(shí)，在去年還實(shí)現(xiàn)了 3 倍超分辨率，可以讓所有場(chǎng)景都獲得更好的視覺(jué)體驗(yàn)。

·Web 與 Native 視頻互通可用性提升

在一些連麥場(chǎng)景中，可能主播與用戶分別使用 Naitve、Web 端接入。為了進(jìn)一步提升 Web 端與 Native 端視頻互通時(shí)的可用性，以及視頻質(zhì)量，引入了新的編解碼器。全年無(wú)聲黑屏可用性問(wèn)題比例減少 80% 以上。

·全球首創(chuàng)全自動(dòng)多場(chǎng)景模擬聲學(xué)實(shí)驗(yàn)室

XR 又迎來(lái)了一輪爆發(fā)式的成長(zhǎng)。為了實(shí)現(xiàn)高質(zhì)量的沉浸式的體驗(yàn)，音頻、視頻、網(wǎng)絡(luò)等技術(shù)都將面對(duì)更多挑戰(zhàn)和機(jī)遇。為此，聲網(wǎng)搭建實(shí)時(shí)互動(dòng)行業(yè)首個(gè)全自動(dòng)多場(chǎng)景模擬聲學(xué)實(shí)驗(yàn)室。它配備了聲網(wǎng)獨(dú)創(chuàng)的自動(dòng)化場(chǎng)景模擬環(huán)境，并符合國(guó)際標(biāo)準(zhǔn)，可保證工程師高效且嚴(yán)謹(jǐn)?shù)蒯槍?duì)不同互動(dòng)場(chǎng)景，進(jìn)行聲學(xué)測(cè)試與研究。

同期，聲網(wǎng)還建設(shè)了行業(yè)第一座負(fù)本底(-1dB)噪聲聲學(xué)實(shí)驗(yàn)室，為聲學(xué)信號(hào)的深入研究提升新高度，這也是行業(yè)里前所未有的。

這些實(shí)驗(yàn)室不僅只用于聲網(wǎng)自身的音頻和聲音信號(hào)測(cè)試，同時(shí)也具備為行業(yè)中硬件和軟件合作伙伴提供認(rèn)證測(cè)試的能力。

·基于機(jī)器學(xué)習(xí)的語(yǔ)音編解碼器——聲網(wǎng)Agora Silver

去年 7 月，聲網(wǎng)在國(guó)內(nèi)率先正式推出基于機(jī)器學(xué)習(xí)的語(yǔ)音編解碼器(語(yǔ)音 AI Codec)——聲網(wǎng)Agora Silver。它可以在超低碼率下，提供 32KHz 采樣率的超寬帶編碼音質(zhì)，并通過(guò) AI 降噪算法來(lái)進(jìn)一步優(yōu)化音質(zhì)與語(yǔ)音自然聽(tīng)感。實(shí)測(cè) Silver 在高通 855 單核上，解碼 40ms 的語(yǔ)音信號(hào)只需要 5ms 的計(jì)算時(shí)間，流暢支持各種實(shí)時(shí)互動(dòng)場(chǎng)景。碼率最低可達(dá) 2.7kpbs，更省帶寬。

·聲網(wǎng)Agora 實(shí)時(shí)音頻 MoS 方法上線

聲網(wǎng)基于在全球大規(guī)模商用的客觀實(shí)時(shí)數(shù)據(jù)和實(shí)踐總結(jié)，在去年年初正式推出自研的用于評(píng)價(jià)實(shí)時(shí)音頻用戶體驗(yàn)的無(wú)參考客觀評(píng)價(jià)方法——聲網(wǎng)Agora 實(shí)時(shí)音頻 MoS 方法。開(kāi)發(fā)者在調(diào)用該方法后，可實(shí)時(shí)地客觀判斷當(dāng)前用戶的音頻互動(dòng)體驗(yàn)，給自身業(yè)務(wù)、運(yùn)營(yíng)的優(yōu)化提供重要的參考數(shù)據(jù)。

·SD-RTN™ 傳輸質(zhì)量持續(xù)優(yōu)化，用戶體驗(yàn)更上一層樓

過(guò)去的一年中, 聲網(wǎng)持續(xù)迭代 SD-RTN™的質(zhì)量觀測(cè)和優(yōu)化體系， 進(jìn)一步改善終端用戶的接入質(zhì)量。 相較于去年的 34.35%, 目前全球 68.06%的用戶享有優(yōu)秀的接入體驗(yàn)。

對(duì)于區(qū)域內(nèi)(即互動(dòng)用戶在同一個(gè)地區(qū)網(wǎng)絡(luò)下)的網(wǎng)內(nèi)傳輸也進(jìn)行了進(jìn)一步優(yōu)化, 主要區(qū)域內(nèi)已經(jīng)能做到 99.5%的時(shí)間 jitter 200 到達(dá)率 99.9%.

·AI Ops 落地，為高質(zhì)量的 RTC 服務(wù)無(wú)間斷保駕護(hù)航

隨著用戶規(guī)模的增長(zhǎng)和網(wǎng)絡(luò)覆蓋工作的深入, 聲網(wǎng) SD-RTN™的規(guī)模在不斷擴(kuò)張。

如今行業(yè)都有一個(gè)共識(shí)，即運(yùn)維復(fù)雜度在迅速增加，然而傳統(tǒng)運(yùn)維已經(jīng)捉襟見(jiàn)肘。但是，聲網(wǎng)對(duì)SD-RTN™網(wǎng)絡(luò)質(zhì)量和用戶體驗(yàn)的追求卻從未松懈。

為此, 聲網(wǎng)投入了巨大的資源和人力，克服了 AI 工程化落地的難點(diǎn)，將智能運(yùn)維全面應(yīng)用于 SD-RTN™的日常運(yùn)維中，解決了傳統(tǒng)運(yùn)維的痛點(diǎn):

·7*24H 不間斷保障;

·高一致性和高質(zhì)量的執(zhí)行結(jié)果;

·統(tǒng)一高效的運(yùn)維效率。

得益于 AI Ops 的落地，聲網(wǎng)在SD-RTN™規(guī)模不斷增長(zhǎng)的同時(shí)，提供了更高質(zhì)量的 RTC 服務(wù)。在下一階段，將繼續(xù)深挖算法的潛力并將其價(jià)值在更多的運(yùn)維場(chǎng)景上展現(xiàn)。

·自研傳輸協(xié)議在多個(gè)業(yè)務(wù)場(chǎng)景落地

聲網(wǎng)自研的傳輸協(xié)議 AUT (Agora Universal Transport) 在 RTC，F(xiàn)PA等多個(gè)業(yè)務(wù)場(chǎng)景落地，在異構(gòu)網(wǎng)絡(luò)下為這些場(chǎng)景提供了針對(duì)性的弱網(wǎng)對(duì)抗，安全保護(hù)和網(wǎng)絡(luò)評(píng)估能力。

在協(xié)議對(duì)比測(cè)試中，在帶寬受限情況下，20～500ms 的 RTT，3%~50%的丟包條件下，大文件傳輸時(shí)相比于 QUIC，傳輸速度提升 10%~100%，實(shí)時(shí)數(shù)據(jù)傳輸性能相比于 SRT，到達(dá)率提升 3%～25% 升，抖動(dòng)降低 10%～70%。通過(guò)連接層面對(duì)移動(dòng)和有線網(wǎng)絡(luò)的特性適配以及流級(jí)別獨(dú)立信道編碼能力，配合聲網(wǎng)媒體層面優(yōu)化，可以做到 80% 丟包不卡頓。AUT 可為用戶帶來(lái)更好的實(shí)時(shí)互動(dòng)體驗(yàn)。

·自研 FEC 算法，并提交國(guó)際 RFC 草案

FEC(Forward Error Correction)，前向糾錯(cuò)，是一種通過(guò)在網(wǎng)絡(luò)傳輸中增加數(shù)據(jù)包的冗余信息，使得接收端能夠在網(wǎng)絡(luò)發(fā)生丟包后利用這些冗余信息直接恢復(fù)出丟失的數(shù)據(jù)包的一種方法。FEC 也是實(shí)時(shí)傳輸中最常用的丟包處理策略之一。聲網(wǎng)也有一套自研的 FEC 算法可配合視頻 SVC 編碼實(shí)現(xiàn)不對(duì)等保護(hù)。在相同的丟包率下，聲網(wǎng)自研 FEC 比廣泛使用的 RS 編碼恢復(fù)效率高 50%。不僅如此，聲網(wǎng)還將這套 FEC 算法作為 RFC 草案，提交給了 IETF 。

提升體驗(yàn)，開(kāi)源與共建

·持續(xù)支持跨平臺(tái)開(kāi)發(fā)

近兩年 Flutter 的熱度不減。跨平臺(tái)框架對(duì)于開(kāi)發(fā)者們的重要意義不言而喻。去年 Flutter 發(fā)布了 2.2 版本，針對(duì) Flutter 在 iOS、Android、Web 等平臺(tái)有大量的優(yōu)化更新。而聲網(wǎng) Flutter SDK 也在隨之進(jìn)行了迭代，目前已支持 Flutter 全平臺(tái)。

同時(shí)，聲網(wǎng)仍一如既往地持續(xù)支持跨平臺(tái)開(kāi)發(fā)框架。去年更新、優(yōu)化了面向 Flutter、Unity、React Native、Electron 等框架、平臺(tái)的聲網(wǎng) SDK。希望可以幫助更多跨平臺(tái)框架的開(kāi)發(fā)者，快速構(gòu)建實(shí)時(shí)互動(dòng)場(chǎng)景。

·自研搜索算法，優(yōu)化文檔體驗(yàn)

聲網(wǎng)進(jìn)一步優(yōu)化了示例項(xiàng)目 Readme 內(nèi)容，以及海外用戶的文檔體驗(yàn)。同時(shí)，文檔中心上架了自研的搜索算法，通過(guò)語(yǔ)義分析、近義詞匹配等方法，很大程度上改善了文檔內(nèi)容搜不到、搜不準(zhǔn)的問(wèn)題。

·上線問(wèn)答機(jī)器人，7*12 小時(shí)技術(shù)支持

為了提升技術(shù)支持方面的體驗(yàn)，聲網(wǎng) console 上線了兩個(gè)新模塊：智能客服模塊與聊天對(duì)話模塊，并將工單技術(shù)支持時(shí)間延長(zhǎng)至 7*12 小時(shí)。

為了讓開(kāi)發(fā)者可以多一個(gè)新的方式，能使問(wèn)題得到更快速地解決。聲網(wǎng)在 console 增了智能客服模塊。

同時(shí)，為了提升工單溝通效率，聲網(wǎng)還在工單支持頁(yè)面中增加了「在線支持」，開(kāi)發(fā)者可直接與聲網(wǎng)的工程師對(duì)話，平均 10 分鐘以內(nèi)會(huì)得到回復(fù)。

開(kāi)源之行，積于跬步

聲網(wǎng)從最初的開(kāi)源技術(shù)(WebRTC)傳播者，到后來(lái)一步步開(kāi)始嘗試開(kāi)源自研的一些算法(例如 編解碼器 SOLO)。希望可以通過(guò)開(kāi)源為實(shí)時(shí)互動(dòng)行業(yè)帶來(lái)更多實(shí)用、有誠(chéng)意的項(xiàng)目。

去年聲網(wǎng)開(kāi)源了兩個(gè)項(xiàng)目，一個(gè)是iOS/Mac 上的輕量化的性能測(cè)試組件——Moonlight。它可以單獨(dú)集成在任何 App 中實(shí)現(xiàn)自動(dòng)化性能數(shù)據(jù)的采集，你可以非常輕松的獲取到 App CPU、System CPU、App Memory、System GPU 以及 GPU Info 的數(shù)據(jù)。

另一個(gè)是開(kāi)源教室項(xiàng)目 Flat。其產(chǎn)品是基于各種成熟的云服務(wù)搭建的，具備可以直接用于實(shí)際業(yè)務(wù)的能力。而且，該項(xiàng)目不綁定特定的云服務(wù)，開(kāi)發(fā)者可使用 WebRTC 或自研技術(shù)替換其中的組件。目前 Flat 已獲得 3.3k Star。

·與開(kāi)發(fā)者共建實(shí)時(shí)互動(dòng)開(kāi)源項(xiàng)目 YOMO VHQ

除了不斷提升自身產(chǎn)品與服務(wù)的硬實(shí)力，聲網(wǎng)也在通過(guò)社區(qū)開(kāi)源合作的形式，與合作伙伴一起探索實(shí)時(shí)互動(dòng)技術(shù)的邊界。聲網(wǎng)與面向?qū)崟r(shí)數(shù)據(jù)交互應(yīng)用的開(kāi)源開(kāi)發(fā)框架 YOMO 達(dá)成了合作，共同開(kāi)發(fā)了線上虛擬空間 VHQ 項(xiàng)目。

在這個(gè)線上虛擬空間中，你可以集結(jié)位于全球各地的同事或朋友，讓你們仿佛置身于同一個(gè)房間。聲網(wǎng)為 VHQ 提供了低延時(shí)而穩(wěn)定的實(shí)時(shí)音視頻支持，你可以在空間中隨意走動(dòng)，彼此交談的音量也會(huì)隨著虛擬空間中兩個(gè)人的距離而改變。

·與開(kāi)發(fā)者互動(dòng)，多維度改進(jìn)開(kāi)發(fā)體驗(yàn)

去年聲網(wǎng)通過(guò)多種維度的方式與開(kāi)發(fā)者互動(dòng)：有每個(gè)月至少一次的 Agora Talk 直播課，邀請(qǐng)音視頻領(lǐng)域、大前端、移動(dòng)開(kāi)發(fā)等方面的工程師，為開(kāi)發(fā)者們分享技術(shù)經(jīng)驗(yàn);與津津樂(lè)道聯(lián)合出品「編碼人聲」播客，聊聊程序員的生活與成長(zhǎng);還組織社區(qū)開(kāi)發(fā)者一起參與內(nèi)容共建，共同交流與分享。

同時(shí)，為了不斷改進(jìn)的開(kāi)發(fā)者體驗(yàn)，在過(guò)去的一年中，聲網(wǎng)開(kāi)設(shè)了各種各樣的渠道來(lái)收集開(kāi)發(fā)者的反饋，包括問(wèn)卷、線上訪談、線下的 U1S1 開(kāi)發(fā)者交流會(huì)、SDK 集成體驗(yàn)活動(dòng)等形式。

通過(guò)這些活動(dòng)，聲網(wǎng)收集了大量在以往難以發(fā)現(xiàn)的開(kāi)發(fā)者體驗(yàn)相關(guān)的改進(jìn)點(diǎn)。后續(xù)也將不僅會(huì)根據(jù)開(kāi)發(fā)者的意見(jiàn)和反饋來(lái)改進(jìn)，還會(huì)在與開(kāi)發(fā)者們形成長(zhǎng)期持續(xù)的交流和互動(dòng)。

·NG SDK 與開(kāi)發(fā)者的第一次親密接觸

聲網(wǎng)的架構(gòu)師與工程師們，在總結(jié)以往經(jīng)驗(yàn)的基礎(chǔ)上，收集了大量來(lái)自開(kāi)發(fā)者的意見(jiàn)與反饋，進(jìn)行了許多的設(shè)計(jì)嘗試與調(diào)整，經(jīng)過(guò)內(nèi)部的長(zhǎng)期打磨后，首次推出下一代實(shí)時(shí)音視頻API。

聲網(wǎng)在 RTE2021 大會(huì)上，還舉辦了一場(chǎng) Workshop。開(kāi)發(fā)者們體驗(yàn)了聲網(wǎng)下一代的 API?，F(xiàn)場(chǎng)多位開(kāi)發(fā)者，順利用新一代API實(shí)現(xiàn)了實(shí)時(shí)音視頻通話的搭建，并根據(jù)自己的興趣實(shí)現(xiàn)了更多進(jìn)階功能，例如配合攝像頭、屏幕共享、媒體播放器，實(shí)現(xiàn)多路視頻流同時(shí)發(fā)送，以及使用相芯科技、云知聲的云市場(chǎng)插件，體驗(yàn)插件系統(tǒng)接入。

現(xiàn)場(chǎng)開(kāi)發(fā)者調(diào)通項(xiàng)目后，線上合影

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）