10 月 22—23 日,由聲網(wǎng) Agora 主辦的 RTE2021 實(shí)時(shí)互聯(lián)網(wǎng)大會(huì)在北京圓滿落幕。大會(huì)以“萬象頻道”為主題,帶來了 20 余場實(shí)時(shí)互聯(lián)網(wǎng)全生態(tài)線下論壇及活動(dòng)、近百場的精彩演講分享,覆蓋技術(shù)開發(fā)、行業(yè)觀察、創(chuàng)業(yè)投資、趨勢洞察等多維度話題。同時(shí),在大會(huì)現(xiàn)場還設(shè)置了 demo 豐富的聲網(wǎng)展臺(tái)、酷炫的 Metaverse 展臺(tái)以及豐富的周邊活動(dòng),為參會(huì)觀眾展示了實(shí)時(shí)互動(dòng)技術(shù)帶來的全新體驗(yàn)。
從 2015 到 2021,今年已經(jīng)是實(shí)時(shí)互聯(lián)網(wǎng)大會(huì)跨過的第七個(gè)年頭,本屆大會(huì)吸引了 150+ 全球極具前瞻性與實(shí)踐力的技術(shù)領(lǐng)袖、近千名實(shí)時(shí)互聯(lián)網(wǎng)領(lǐng)域的從業(yè)者與數(shù)千名行業(yè)開發(fā)者的關(guān)注與參與。大會(huì)圍繞實(shí)時(shí)互動(dòng)行業(yè)一年來的行業(yè)變遷、趨勢展望,從場景、技術(shù)、產(chǎn)品、生態(tài)等多個(gè)維度進(jìn)行了深度探討與分享。
RTE 萬象圖譜重磅發(fā)布
全球首個(gè)全自動(dòng)多場景模擬聲學(xué)實(shí)驗(yàn)室落成
10 月 22 日 RTE2021 大會(huì)的主論壇上,聲網(wǎng) Agora 創(chuàng)始人&CEO 趙斌發(fā)表了主題為《萬象紛呈,實(shí)時(shí)進(jìn)化》的演講。隨著線上模式被越來越多的行業(yè)所接受,RTE 技術(shù)正在不斷解鎖著全新的應(yīng)用場景。從遠(yuǎn)程辦公的興起到 LiveAudioCast 場景的爆發(fā),2021 年每一個(gè)人都親眼見證了實(shí)時(shí)互動(dòng)、實(shí)時(shí)音視頻能力在媒體行業(yè)改造工業(yè)、引爆新的媒體形態(tài)、改造社會(huì)的交流形式的潛力。
聲網(wǎng) Agora 創(chuàng)始人、CEO 趙斌
趙斌在演講中談到了他總結(jié)的對(duì)于未來實(shí)時(shí)互動(dòng)領(lǐng)域未來發(fā)展趨勢的關(guān)鍵詞:孿生與融合。
從趨勢上來看,數(shù)字化的普及是大勢所趨。但從娛樂場景來看,從影視到文藝、從直播到展會(huì),越來越多的娛樂場景完成了由線上到線下的華麗轉(zhuǎn)身。當(dāng)真正的數(shù)字化普及完成并實(shí)際發(fā)揮效用后,互動(dòng)就成為了其中不可或缺的重要環(huán)節(jié)。這是針對(duì)現(xiàn)有場景而言,而當(dāng)數(shù)字化技術(shù)與實(shí)時(shí)互動(dòng)技術(shù)發(fā)生碰撞,還會(huì)有更多的應(yīng)用場景誕生。數(shù)字化與互動(dòng)技術(shù)的孿生,正是目前 RTE 領(lǐng)域使用量增加、應(yīng)用滲透率提高,同時(shí)應(yīng)用場景也在爆發(fā)的根本原因。
當(dāng)深入數(shù)字化場景,其實(shí)不難發(fā)現(xiàn)線上線下體驗(yàn)的相互融合,其本質(zhì)便是一種技術(shù)上深刻的進(jìn)化。在虛擬與現(xiàn)實(shí)交融的場景中,數(shù)據(jù)的實(shí)時(shí)同步和共通帶來了數(shù)據(jù)的虛實(shí)融合。不論是技術(shù)的進(jìn)化,亦或是環(huán)境的變化,都會(huì)給各種可能性釋放更多的空間。同理,實(shí)時(shí)互動(dòng)的邊界也在不斷進(jìn)化,傳統(tǒng)意義上的實(shí)時(shí)通訊向?qū)崟r(shí)互動(dòng)場景化的人的共同存在,這樣的交互也有可能創(chuàng)造價(jià)值的擴(kuò)張。
在演講過程中,趙斌發(fā)布了基于實(shí)時(shí)互動(dòng)場景的“ RTE 萬象圖譜”,共覆蓋教育、泛娛樂、IoT、金融、醫(yī)療、企業(yè)協(xié)作、數(shù)字政府、智慧城市等 20+ 行業(yè)賽道,200+ 場景。趙斌表示:疫情的影響助推動(dòng)萬象圖譜中的場景加速豐富和成熟,例如教育、社交、直播、會(huì)議等領(lǐng)域已初步形成成熟場景,并且他們未來將長期存在。
在萬象圖譜所包含的 200+ 場景中,不僅有許多已經(jīng)經(jīng)過實(shí)際應(yīng)用考驗(yàn)的成熟場景,還有數(shù)量遠(yuǎn)超成熟場景的新萌芽場景。在萬象圖譜中,聲網(wǎng) Agore 依托自身龐大的行業(yè)經(jīng)驗(yàn)與市場分析能力,對(duì)全球處在萌芽階段的應(yīng)用場景進(jìn)行了全面的梳理。開發(fā)者和創(chuàng)業(yè)者能夠通過萬象圖譜中的場景梳理,找尋全新的靈感與視角,并同聲網(wǎng)一起對(duì)這些萌芽場景進(jìn)行打磨,探索其中真正的價(jià)值與創(chuàng)新點(diǎn)。
除了萬象圖譜,趙斌還在演講中宣布另一個(gè)重磅消息:聲網(wǎng) Agora 打造了全球第一個(gè)全自動(dòng)的多場景模擬聲學(xué)實(shí)驗(yàn)室。他表示:它的出現(xiàn)代表著 RTE 行業(yè)在多場景的實(shí)時(shí)互動(dòng)下第一個(gè)專業(yè)的測試設(shè)施和測試環(huán)境的建設(shè)已經(jīng)成功投產(chǎn),將為未來多場景下的音頻和音效的研究、測試、評(píng)估帶來新的高度和便利。
下一代實(shí)時(shí)互聯(lián)網(wǎng),路向何方?
聲網(wǎng) Agora 首席科學(xué)家鐘聲博士分享了《實(shí)時(shí)互動(dòng)與智能互聯(lián)網(wǎng)》的主題演講:
隨著線上線下的加速融合,在當(dāng)下無論是視頻通話、在線課堂、VR/AR、直播秀場都已經(jīng)成為我們習(xí)以為常的生活體驗(yàn)。實(shí)時(shí)互動(dòng)技術(shù),毫無疑問它的出現(xiàn)極大地強(qiáng)化了人們?cè)诰€上世界中的社交體驗(yàn),同時(shí)也提升了線上應(yīng)用場景中的用戶粘性。
想要在線上世界中重現(xiàn)線下人們“歡聚一堂”的體驗(yàn),對(duì)于通信網(wǎng)絡(luò)低延時(shí)的需求是十分嚴(yán)苛的。針對(duì)實(shí)時(shí)互動(dòng)中的低延時(shí)需求,在面對(duì)海量的非結(jié)構(gòu)化數(shù)據(jù)要被處理、要被理解、要被還原的需求上,做到感知通信計(jì)算一體化的技術(shù)支持是非常必要的。
聲網(wǎng) Agora 首席科學(xué)家鐘聲博士
在未來的實(shí)時(shí)互動(dòng)場景里,從體驗(yàn)上來講是敘事的延展,從過去單純的感官體驗(yàn)到沉浸式的互動(dòng)敘事感受,在未來的實(shí)時(shí)互動(dòng)場景中人們將獲得更加豐富的體驗(yàn)。在線上世界中,我們需要構(gòu)建基于自身的虛擬角色去演繹效果,其中虛擬角色與現(xiàn)實(shí)中真實(shí)存在的“我”,二者之間的聯(lián)系是需要數(shù)字孿生以及人體的數(shù)字孿生技術(shù)作為紐帶的。未來的實(shí)時(shí)互動(dòng)中必須要有的是一種強(qiáng)大的交付、表達(dá)以及共情的能力,這其中包含了對(duì)表情情感的識(shí)別,以及環(huán)境的感知、觸覺的感知以及基于 AI 的 3D 建模,這些技術(shù)共同構(gòu)成了數(shù)字孿生。
在談到影響未來實(shí)時(shí)互聯(lián)網(wǎng)發(fā)展的關(guān)鍵技術(shù)時(shí),鐘聲介紹到:聲網(wǎng)專注在做低延遲+邊+云的加速,實(shí)時(shí)構(gòu)筑在 PaaS 系統(tǒng)里,API 提供靈活應(yīng)用業(yè)務(wù)構(gòu)建的內(nèi)容,以及先進(jìn)的云/邊計(jì)算,未來這些肯定是非常重要的技術(shù)發(fā)展方向。通信領(lǐng)域除了帶寬、寬口的延時(shí)、可靠率、多設(shè)備連接繼續(xù)演進(jìn)之外,像太赫茲、毫米波、超大規(guī)模 MIMO 都是底層的關(guān)鍵技術(shù)。同時(shí),為了呈現(xiàn)更加貼近現(xiàn)實(shí)的視頻圖像效果,超高分辨率的視頻技術(shù)也是不可避免的。
同時(shí),針對(duì)AI技術(shù)在實(shí)時(shí)互聯(lián)網(wǎng)中的應(yīng)用,鐘聲也給出了自己的思路:如何能夠做到通過一個(gè)小數(shù)據(jù)就能把所有的信息檢索出來,恢復(fù)出來?這看似不能完成,但實(shí)際上可以通過 AI 的算法泛化大數(shù)據(jù)轉(zhuǎn)化為小數(shù)據(jù),以小數(shù)據(jù)驅(qū)動(dòng)大數(shù)據(jù)。從發(fā)送端提取關(guān)鍵點(diǎn),在接收端根據(jù)關(guān)鍵點(diǎn)重新生成視頻。
針對(duì)現(xiàn)如今通信與計(jì)算融合后,現(xiàn)有的運(yùn)維、技術(shù)架構(gòu)已經(jīng)無法應(yīng)對(duì)當(dāng)今實(shí)時(shí)互動(dòng)的業(yè)務(wù)和體驗(yàn)要求。聲網(wǎng) Agora 首席科學(xué)家鐘聲在演講中表示,下一代的實(shí)時(shí)互聯(lián)網(wǎng),需要全網(wǎng)協(xié)同及網(wǎng)絡(luò)感知能力,并做好全域帶寬實(shí)時(shí)調(diào)度、全域資源實(shí)時(shí)調(diào)度,發(fā)展支持靈活的動(dòng)態(tài)分布式計(jì)算云原生軟件架構(gòu),充分利用 AI算法來泛化智能,小數(shù)據(jù)驅(qū)動(dòng)大數(shù)據(jù),并持續(xù)提升端/邊/芯片等硬件能力,才能滿足當(dāng)今實(shí)時(shí)互動(dòng)場景提出的技術(shù)、業(yè)務(wù)和體驗(yàn)要求。
AI、深度學(xué)習(xí)不斷滲透 RTE 的方方面面
除了鐘聲博士的前瞻性研究,在 RTE2021 大會(huì)上我們能看到的另一個(gè)重要現(xiàn)象,是 AI、深度學(xué)習(xí)正在不斷滲透到實(shí)時(shí)音視頻的方方面面。音頻、視頻、網(wǎng)絡(luò)各領(lǐng)域的算法工程師們都在實(shí)踐,以 AI 去優(yōu)化與提升自身領(lǐng)域的性能表現(xiàn)。
谷歌工程師在 RTE2021 大會(huì)上分享了最新的低比特率語音編解碼器 Lyra,Lyra 以少量數(shù)據(jù)壓縮重構(gòu)語音,實(shí)現(xiàn) 20kpbs 以下的順暢視頻通話。谷歌工程師們對(duì)單個(gè)最大矩陣進(jìn)行稀疏化,即門控循環(huán)單元(GRU)內(nèi)的矩陣,而這些塊矩陣可以實(shí)現(xiàn)為小而密集的矩陣,從而讓深度學(xué)習(xí)訓(xùn)練速度提高了兩倍。
聲網(wǎng)的 Silver 語音編解碼器則是通過深度學(xué)習(xí)探索碼率、算力和效果的平衡。聲網(wǎng)的音頻算法團(tuán)隊(duì)使用 AI-NS 降噪算法提升語音信噪比,解決噪聲問題,以減少低碼率帶來的 artifact;
編碼基于傳統(tǒng)算法的分頻帶特征提?。ɑl、子帶頻譜包絡(luò)、能量等),以及 RVQ、距離編碼等方法實(shí)現(xiàn)特征編碼節(jié)省碼率;解碼采用自回歸模型和帶寬擴(kuò)展(BWE)的 WaveRNN 模型實(shí)現(xiàn)模型算力的精簡?;谧匝械亩嗥脚_(tái) AI 推理引擎實(shí)現(xiàn)模型的非對(duì)稱量化、混合精度推理、計(jì)算壓縮解碼耗時(shí),最終保證移動(dòng)端部署的實(shí)時(shí)性。
另外,還有 NVIDIA 深度學(xué)習(xí)資深解決方案架構(gòu)師在大會(huì)上分享了英偉達(dá)從提升算力、結(jié)構(gòu)化稀疏減少算力損耗、模型量化尋找最優(yōu)算力的深度學(xué)習(xí)“一增兩減”思路。聲網(wǎng) Agora SD-RTNTM 網(wǎng)絡(luò)傳輸質(zhì)量工程師分享,探索聲網(wǎng)如何將運(yùn)維操作的 API 化、平臺(tái)化,將 AI 和 OPS 拆解成算法-決策-執(zhí)行,以實(shí)現(xiàn) 7*24H 無間斷、運(yùn)維執(zhí)行的質(zhì)量和效率。
視頻標(biāo)準(zhǔn)與專利發(fā)展迅速,期待 AV2 的到來
除了 AI 的深入實(shí)踐,國內(nèi)廠商在實(shí)時(shí)音視頻領(lǐng)域另一個(gè)重要的戰(zhàn)場,標(biāo)準(zhǔn)制定上,也在投入大量精力。RTE2021 大會(huì)上,參與了高清、4K 等視頻國際標(biāo)準(zhǔn)制定的葉琰博士,分享了關(guān)于 MPEG、ITU 發(fā)展歷程,VVC 性能演進(jìn)詳細(xì)指標(biāo)數(shù)據(jù),以及視頻標(biāo)準(zhǔn)商用落地的最新個(gè)人觀點(diǎn)。
MPEG 發(fā)展路徑
她很坦率地提出了,已經(jīng)占據(jù)互聯(lián)網(wǎng) 80% 流量的視頻,壓縮技術(shù)日趨被重視,也將帶來專利技術(shù)之爭,以及專利授權(quán)的復(fù)雜場景。另外,MPEG 視頻相關(guān)工作將在 VVC 下一代標(biāo)準(zhǔn)技術(shù)研發(fā)、AI 視頻編碼(包含傳統(tǒng)框架下提供更高壓縮性能、神經(jīng)網(wǎng)絡(luò)進(jìn)行視頻壓縮兩個(gè)方向),以及浸入式視頻方向發(fā)力。
除了視頻標(biāo)準(zhǔn),RTE2021大會(huì)上,谷歌工程師也帶來了最新的 AV2 編解碼器的設(shè)計(jì)和性能優(yōu)化成果。上一代 AV1 僅僅在引入實(shí)際場景落地的進(jìn)程中,谷歌的工程師們已經(jīng)在繼續(xù)向前,以 0.4~1.5% 的性能提升,探索編解碼效率的極限。所以,與 AV2 相關(guān)的場景和標(biāo)準(zhǔn),也將是業(yè)界重點(diǎn)關(guān)注的工作。
WebRTC 開源與標(biāo)準(zhǔn)之上,聲網(wǎng)如何打破“黑盒子”
今年,WebRTC 正式成為 W3C 與 IETF 的官方標(biāo)準(zhǔn),看起來塵埃落定。不過,WebRTC 開源社區(qū) Committer、聲網(wǎng) Agora WebRTC 負(fù)責(zé)人毛玉杰在大會(huì)上分享了,各組織在 WebRTC Codecs 存在著開源與標(biāo)準(zhǔn)之爭的現(xiàn)狀問題,以及聲網(wǎng)在 WebRTC 標(biāo)準(zhǔn)之上,如何設(shè)計(jì) Web 端到端音視頻傳輸架構(gòu),降低開發(fā)者對(duì)實(shí)時(shí)音視頻的使用門檻。
他總結(jié)了 WebRTC 的六個(gè)現(xiàn)有問題:設(shè)備與外設(shè)缺乏適配、各類瀏覽器兼容性、移動(dòng)端支持不佳、音視頻模塊不可定制、性能問題、統(tǒng)計(jì)數(shù)據(jù)缺失,目前瀏覽器廠商并不能全部解決以上問題。聲網(wǎng)結(jié)合 ORTC、WebRTC Extenions、WebRTC-SVC、Web Transport、Raw-Socket……等多個(gè)技術(shù)標(biāo)準(zhǔn),形成了現(xiàn)在聲網(wǎng)的 Web 端到端音視頻傳輸架構(gòu)。
聲網(wǎng) Web 端到端音視頻傳輸架構(gòu)
從 AgoraAI 實(shí)時(shí) AI 加速引擎的推出,到在千元機(jī)上開啟各類 AI 玩法;從 WebRTC 的標(biāo)準(zhǔn)化,到在探索在 Web 端達(dá)到 native 端同等的能力;從 RTC 與 IM 融合基礎(chǔ)上提供的 aPaaS 到 RTE 萬象圖譜的發(fā)布。過去一年是聲網(wǎng) Agora 技術(shù)進(jìn)化的一年,也是實(shí)時(shí)互聯(lián)網(wǎng)邁向全新技術(shù)階段的重要變革點(diǎn),RTE 領(lǐng)域的未來值得我們期待!
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 中泰文化交流新篇章:賽氪與寰宇播客營聯(lián)合中南財(cái)經(jīng)政法大學(xué)及多方舉辦泰國留學(xué)生交流活動(dòng)
- 2025醫(yī)藥數(shù)智營銷創(chuàng)新峰會(huì)“金創(chuàng)獎(jiǎng)”獎(jiǎng)項(xiàng)申報(bào)啟動(dòng)!
- 2024第五屆亞太銀行數(shù)字化創(chuàng)新大會(huì)圓滿落幕
- 2024年被稱為“低空經(jīng)濟(jì)元年”!倒計(jì)時(shí)15天 | 2025中國eVTOL創(chuàng)新發(fā)展大會(huì)報(bào)名中
- 匯聚技術(shù)星火 點(diǎn)亮生態(tài)星空
- GTF2025攜航空和燃?xì)廨啓C(jī)全產(chǎn)業(yè)鏈優(yōu)勢資源全新回歸上海
- 潮玩風(fēng)暴來襲,2025 ChinaJoy 潮玩手辦及模型展區(qū)招商火爆!
- 普渡機(jī)器人發(fā)布首款全人形機(jī)器人PUDU D9
- 【創(chuàng)新金融驅(qū)動(dòng)力】2025中原金融科技節(jié)擘畫中原金融科技新未來!
- 年底聚會(huì)!談思汽車AutoFusa功能安全行業(yè)年會(huì)沙龍火熱報(bào)名中~~
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。