在線下課堂，老師和學(xué)生之間的互動頻率非常高，而在線上，各個公司目前的直播課產(chǎn)品互動頻率都非常低。在作業(yè)幫直播課小學(xué)產(chǎn)品負(fù)責(zé)人曹越看來，這個問題的核心原因是缺少一個高頻互動的方式。因此，作業(yè)幫研發(fā)團(tuán)隊對其小學(xué)直播課產(chǎn)品中的集體發(fā)言功能進(jìn)行了升級。

項目背景

據(jù)了解，作業(yè)幫第一代大班課基于 RTMP 技術(shù)實現(xiàn)，特點是大部分時間都是單向直播，老師在授課過程中和學(xué)生有一些簡單互動，比如文字聊天、是否卡、答題卡之類的，互動不及時，延時普遍在 3 秒以上。

在運(yùn)營大班課的過程中，作業(yè)幫發(fā)現(xiàn)低年級學(xué)生有特別強(qiáng)的互動需求，比如英語課就需要大量口語互動。而且多互動交流，也有利于低年級學(xué)生在課堂上更加專注學(xué)習(xí)。作業(yè)幫在 2019 年啟動了“小組課”的開發(fā)，“小組課”是把一個幾千人的大班分成 6 個人一個小組的小班，小組成員之間的互動和第一代大班相比更加頻繁和多樣。

在“小組課”第一期，作業(yè)幫就加入了集體發(fā)言功能，集體發(fā)言第一期的形式是老師提問，學(xué)生用語音回答，語音識別系統(tǒng)會把學(xué)習(xí)語音自動轉(zhuǎn)換成文字或者分?jǐn)?shù)，再發(fā)送給同組學(xué)員和老師。集體發(fā)言功能上線使用一段時間后，從學(xué)生和主講老師、輔導(dǎo)老師那邊收到反饋，他們均有強(qiáng)烈需求要聽到對方的真實聲音，因此作業(yè)幫在 2020 年中啟動了集體發(fā)言二期的開發(fā)，并于 2020 年寒假課全量上線使用。集體發(fā)言二期主要解決了同組學(xué)員之間，老師和學(xué)生之間的語音互動功能。

核心技術(shù)

“接到這個項目需求時，憑我多年做音視頻的經(jīng)驗，就知道這個項目是一個棘手的活。”因為，作業(yè)幫 APP 的用戶設(shè)備大都為學(xué)生家長淘汰下來的手機(jī)，還有很多學(xué)習(xí)平板，這類機(jī)型性能較差，安卓系統(tǒng)版本較低，兼容性很不好做。為了解決用戶設(shè)備的適配問題，在兩個月的時間里，團(tuán)隊把公司所有機(jī)型都借來，包括同事的個人機(jī)，做了幾百種機(jī)型的適配。

另外，有些學(xué)生上課時的環(huán)境很嘈雜，從后臺甚至能看到有些學(xué)生在菜市場、醫(yī)院或者汽車上看直播課。集體發(fā)言功能需求 6 個小組成員都是互通語音，其中只要有一個成員的語音有問題，就會影響其它五個人的上課效果。主講端也會聽到學(xué)生的聲音，如果剛好聽到聲音很嘈雜的學(xué)生，就會影響老師的上課效果。

考慮對課堂效果風(fēng)險的控制，作業(yè)幫的技術(shù)團(tuán)隊嘗試了多種解決方案。對于常見的噪音，技術(shù)團(tuán)隊主要通過算法消除的方式解決。那些并不常見的噪音也可以通過編寫特定算法，將異常設(shè)備的音量暫時降低等進(jìn)行處理，并通過該系統(tǒng)不斷迭代去優(yōu)化聲音。

據(jù)介紹，傳統(tǒng)的噪音消除只能消除白噪音之類特征很明確的噪音，為了解決像汽車聲音，菜市場噪音之類特定的噪音，團(tuán)隊引入了機(jī)器學(xué)習(xí)技術(shù)，自己訓(xùn)練了噪音消除庫，訓(xùn)練數(shù)據(jù)主要來自回放視頻，部分訓(xùn)練數(shù)據(jù)是組員親自找到特定場景錄制的。因為老師和學(xué)生的使用環(huán)境不一樣，所以還針對老師和學(xué)生分別訓(xùn)練了不同的噪音消除庫。

另外還要重點說下回音消除功能，集體發(fā)言功能的聲音來源有很多，很容易產(chǎn)生回音。目前 iOS 平臺的回音消除兼容性很好，在 iOS 平臺下直接使用了自帶的回音消除。PC 平臺的回音消除大部分情況下工作都還不錯，只有在 CPU 占用率很高的情況下容易出問題。最麻煩的是安卓平臺，安卓平臺機(jī)型特別多，兼容性很差，為了解決這個問題，團(tuán)隊測試了大量安卓機(jī)型，采用白名單策略，如果某款機(jī)型硬件回音消除很好，就優(yōu)先使用硬件回音消除，不在名單中的機(jī)型則使用軟件回音消除。

如果學(xué)生側(cè)網(wǎng)絡(luò)不好對該功能也有一定影響，畢竟多了幾路語音，還是會占用一定帶寬。作業(yè)幫自研的 ZRTC 在弱網(wǎng)方面的技術(shù)主要有丟包重傳和 FEC，這是一款通用抗弱網(wǎng)技術(shù)，不是為該功能專門優(yōu)化的，但可以起到很好的作用。

2021 年寒暑假，集體發(fā)言二期功能全量使用。寒假課結(jié)束后，團(tuán)隊邀請了部分用戶做了問卷調(diào)查，學(xué)生滿意度和參與度都比第一期有了重大提高。

未來發(fā)展

在作業(yè)幫產(chǎn)研團(tuán)隊看來，好的產(chǎn)品并非一蹴而就，產(chǎn)品打磨和技術(shù)支持缺一不可。評定教育產(chǎn)品好壞的標(biāo)準(zhǔn)要看是否真正賦能教育，技術(shù)的不斷升級儼然能讓產(chǎn)品發(fā)揮更大的效用。未來，團(tuán)隊計劃在語音方面主要迭代以下幾個方面：繼續(xù)完善機(jī)型適配，每年都會出現(xiàn)很多新機(jī)型，所以這個工作不能停，團(tuán)隊會一直做下去;以月為周期訓(xùn)練噪音消除庫，讓噪音消除庫適應(yīng)性更好;嘗試新的語音編碼，比如最新很火的谷歌開源語音編碼 Lyra 等。

隨著 5G、人工智能、虛擬現(xiàn)實、增強(qiáng)現(xiàn)實等技術(shù)的成熟和應(yīng)用，在線教育的形態(tài)和服務(wù)形式也在不斷升級。而以人工智能技術(shù)驅(qū)動的自適應(yīng)個性化學(xué)習(xí)，將是教育領(lǐng)域最具潛力的應(yīng)用場景。

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）