實(shí)時(shí)音視頻技術(shù)的專業(yè)度和復(fù)雜度都很高,通過(guò)PaaS服務(wù)商來(lái)集成實(shí)時(shí)音視頻,快速開(kāi)發(fā)App,是時(shí)下開(kāi)發(fā)者的優(yōu)先選擇。所選RTC是否好用易用、契合所需場(chǎng)景,將直接影響項(xiàng)目開(kāi)發(fā)進(jìn)度和后期運(yùn)維成本。

開(kāi)發(fā)者需要了解實(shí)時(shí)音視頻技術(shù)選型中要避開(kāi)的坑點(diǎn),以便提高開(kāi)發(fā)集成效率。具體來(lái)說(shuō),以下四個(gè)方面要綜合考慮。

一、實(shí)時(shí)音視頻與IM能力不宜分散

幾乎100%的實(shí)時(shí)音視頻在線應(yīng)用都有文字/語(yǔ)音消息、文件傳輸、圖片顯示等IM需求。

目前市場(chǎng)上PaaS服務(wù)商這兩方面能力強(qiáng)弱不一:有的大廠雖然兩方面能力都提供,但不能確保兩種能力同樣高質(zhì)量;有的專業(yè) RTC 廠商,只能提供RTC能力,IM能力還得由第三方專業(yè)服務(wù)商提供。

這樣,便迫使開(kāi)發(fā)者在集成過(guò)程中不得不分別選擇服務(wù)商。當(dāng)實(shí)時(shí)音視頻與IM質(zhì)量不穩(wěn)定時(shí),需要逐一協(xié)調(diào)各個(gè)服務(wù)商,逐一排查問(wèn)題,無(wú)形中增加了后期的運(yùn)營(yíng)成本。其實(shí),IM和音視頻在很多場(chǎng)景下有耦合,建議開(kāi)發(fā)者在選型一開(kāi)始就要考慮具有RTC+IM雙重高保障能力的通信云廠商,盡量“用一套 SDK,解決所有通信場(chǎng)景”。

對(duì)開(kāi)發(fā)者來(lái)說(shuō)兩項(xiàng)功能同時(shí)開(kāi)發(fā),開(kāi)發(fā)包相對(duì)比較小;如果前期只用到了IM,沒(méi)有用到RTC,那么只需要學(xué)習(xí)IM方面的開(kāi)發(fā)文檔就可以了,一旦有了RTC需求,再去學(xué)習(xí)RTC文檔,開(kāi)發(fā)者只需接入相關(guān)接口,快速與IM能力做對(duì)接和匹配,即可完成兩類功能在App生命周期里的全覆蓋。

除了開(kāi)發(fā)上的易快速上手外,選擇“IM+RTC+推送”整合的解決方案,開(kāi)發(fā)者還可以享受一致的網(wǎng)絡(luò)架構(gòu),提高傳輸?shù)男屎唾|(zhì)量,獲得一致的服務(wù)保障。例如,融云近期升級(jí)了實(shí)時(shí)音視頻能力,RTC的通信信令是復(fù)用IM信令通道,可以確保消息100%的連通率和到達(dá)率,使底層的通信優(yōu)勢(shì)發(fā)揮到最大。

二、延時(shí)、卡頓、抖動(dòng)的質(zhì)量問(wèn)題要解決好

通過(guò)調(diào)研發(fā)現(xiàn),用戶最不能接受實(shí)時(shí)音視頻的三個(gè)質(zhì)量問(wèn)題是延時(shí)、卡頓、抖動(dòng)。

低延時(shí)要靠?jī)蓚€(gè)方面解決,一個(gè)是傳輸協(xié)議,一個(gè)是優(yōu)化整體傳輸環(huán)節(jié)。實(shí)時(shí)音視頻的主流傳輸協(xié)議有RTMP和UDP兩種,一種支持CDN技術(shù),一種支持WebRTC技術(shù),相對(duì)來(lái)說(shuō),CDN技術(shù)延時(shí)性在3-5秒,WebRTC可以在幾百毫秒以內(nèi),現(xiàn)在很多廠商可以同時(shí)支持這兩種技術(shù),分別適用于不同的場(chǎng)景。

整體傳輸環(huán)節(jié)中,采集/渲染、編解碼/網(wǎng)絡(luò)往返都會(huì)有一定的延時(shí),有些是硬件的物理延遲,需要靠5G這樣底層網(wǎng)絡(luò)技術(shù)的提升,或者布更多的數(shù)據(jù)中心、邊緣結(jié)點(diǎn),便于就近接入;有些要針對(duì)實(shí)際場(chǎng)景,在具體形態(tài)上做一些權(quán)衡,比如在處理粒度上粗細(xì)的考慮,越細(xì)的粒度傳輸?shù)臄?shù)據(jù)包相對(duì)較大,延遲也會(huì)更高。

當(dāng)音視頻出現(xiàn)卡頓時(shí),有一個(gè)視頻流暢優(yōu)先的原則。我們通過(guò)降低一些碼率和幀率,即使畫(huà)面模糊一點(diǎn),也要讓用戶視覺(jué)上是流暢不卡頓的。這樣在選型時(shí)候,要考慮幾個(gè)方面:一個(gè)是優(yōu)化低碼率下的視頻清晰度;二是要有帶寬估算能力,當(dāng)預(yù)判到這個(gè)帶寬沒(méi)法承受高清晰視頻傳輸時(shí),自動(dòng)轉(zhuǎn)化成低碼率并通過(guò)優(yōu)化算法,使低碼率視頻清晰度能媲美高清視頻。

另外,數(shù)據(jù)包通常會(huì)以錯(cuò)誤的順序到達(dá),從而產(chǎn)生抖動(dòng)相關(guān)問(wèn)題,或者直接丟失,造成音視頻空白。谷歌一份資料顯示,視頻聊天應(yīng)用 Duo 99%的通話都有數(shù)據(jù)包丟失、過(guò)度抖動(dòng)或網(wǎng)絡(luò)延遲情況。20%的通話丟失了超過(guò)3%的音頻,10%的通話丟包率超過(guò)8%,也就是說(shuō)每次通話都有很多音頻需要替換。

處理上述問(wèn)題,很多廠商會(huì)采用抗丟包及抗網(wǎng)絡(luò)抖動(dòng)能力的NACK(丟包重傳)、FEC(前向糾錯(cuò))、自適應(yīng)帶寬調(diào)整(動(dòng)態(tài)調(diào)整碼)、接收端 Jitter Buffer(媒體流平穩(wěn))等各種機(jī)制,有些是組合使用,有些是單獨(dú)使用,開(kāi)發(fā)者在選型前一定要做到深入了解。

三、擁有全球通信和場(chǎng)景化能力

剛才談到低延時(shí)、抗丟包的解決策略,有些是與網(wǎng)絡(luò)接入路徑長(zhǎng)短直接相關(guān)的。比如中美兩地的音視頻連接,沒(méi)有全球通信網(wǎng)絡(luò)支持、數(shù)據(jù)中心和節(jié)點(diǎn)布局的廠商是提供不了服務(wù)的。開(kāi)發(fā)者選型開(kāi)發(fā)前,就要考慮到自己業(yè)務(wù)的所屬范圍。

選擇全球化服務(wù)的云廠商,除了看數(shù)據(jù)中心和節(jié)點(diǎn)分布外,還要仔細(xì)考察全球網(wǎng)絡(luò)布局的品質(zhì),簡(jiǎn)單說(shuō),有的廠商提供了全球網(wǎng)絡(luò)優(yōu)化能力,中美之間的音視頻連接在未優(yōu)化前要經(jīng)過(guò) 100 多跳,而優(yōu)化后僅 6 跳就能完成連通。這是由于,這些廠商擁有自有的路徑最優(yōu)算法,通過(guò)智能路由就近接入,即使在異國(guó)/地網(wǎng)絡(luò)環(huán)境較差的情況下,仍然能夠及時(shí)切換到更好的線路上去。比如融云擁有全球優(yōu)化加速網(wǎng)絡(luò),實(shí)時(shí)音視頻通話可做到全球端到端延時(shí)小于400ms,最低延時(shí)66ms,保障端到端之間延遲無(wú)感知的實(shí)時(shí)互動(dòng)。

在場(chǎng)景化能力上,實(shí)際上相比IM,實(shí)時(shí)音視頻更加通道化,在各個(gè)場(chǎng)景中復(fù)用的程度也相對(duì)較高,能力也更基礎(chǔ)。優(yōu)秀的PaaS廠商會(huì)按場(chǎng)景提供不同的Demo,音視頻技術(shù)的升級(jí)也針對(duì)解決更多的應(yīng)用場(chǎng)景去優(yōu)化,便于開(kāi)發(fā)者拿來(lái)即用,這種方式對(duì)入門級(jí)的開(kāi)發(fā)者都十分友好。各種API接口相對(duì)獨(dú)立,開(kāi)發(fā)者只需關(guān)注和使用所需要的SDK,就可以實(shí)現(xiàn)想要的場(chǎng)景,大大降低集成開(kāi)發(fā)的難度。

四、開(kāi)發(fā)者服務(wù)足夠完善

在一些社區(qū)中,我們常常會(huì)看到一些技術(shù)文檔下,開(kāi)發(fā)者提出問(wèn)題而沒(méi)有回復(fù)。開(kāi)發(fā)者為提高開(kāi)發(fā)效率,越來(lái)越傾向于自助完成工作,因此,開(kāi)發(fā)文檔是否易懂,Demo 是否易用,都顯得十分重要。

另外,工單回復(fù)的速度,微信群、社區(qū)的值守和響應(yīng)程度等都能反映PaaS廠商服務(wù)意識(shí)的強(qiáng)弱。通常來(lái)說(shuō),7×24小時(shí)技術(shù)支持服務(wù),1小時(shí)工單快速回復(fù)、快速遠(yuǎn)程接入、快速恢復(fù)的故障應(yīng)急響應(yīng)機(jī)制,這些都是對(duì)開(kāi)發(fā)者很完善的服務(wù)支持。

有些廠商還會(huì)提供特色的質(zhì)量監(jiān)控服務(wù),比如融云“北極星”的質(zhì)量問(wèn)題排查平臺(tái),通過(guò)可視化圖表,快速定位卡頓位置,實(shí)時(shí)統(tǒng)計(jì)丟包率,使開(kāi)發(fā)者可以自助排查每一次音視頻通話過(guò)程中的丟包率、網(wǎng)絡(luò)帶寬等通信技術(shù)參數(shù)?？梢灾苯佣ㄎ挥脩魡?wèn)題,提高排查效率,提升用戶體驗(yàn)。

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）