如今2022年世界杯如火如荼，轉眼就到了關鍵的八分之一決賽，期間抖音同步上線的“無障礙字幕直播間”也著實火了一把，成功點亮了熱榜并位居前列。

據(jù)了解，該功能正是借助火山同傳的技術能力以及火山語音的語音識別能力，輸出更加快速精準的同傳字幕，為觀賽帶來優(yōu)質體驗。話說字幕看球“更快更準更專業(yè)”的背后究竟有啥黑科技加持？火山語音帶你一起瞧瞧！

「端到端語音識別：更快更準的法寶」眾所周知，對語音的精準快速識別能力是實現(xiàn)同傳字幕的重要基礎。為了應對世界杯賽場差別各異的解說口音和語速，火山語音團隊基于RNN-T框架，通過大量訓練數(shù)據(jù)的積累和持續(xù)的算法優(yōu)化，推出自研端到端的流式語音識別系統(tǒng)，有效規(guī)避了傳統(tǒng)的語音識別系統(tǒng)中涉及的大量人工流程，例如依賴專業(yè)人員設計各種口音的發(fā)聲規(guī)則等。

“這樣的語音識別系統(tǒng)并不需要關注底層發(fā)音字典以及有關的音素信息，采用純數(shù)據(jù)驅動的方式就可完成，系統(tǒng)復雜度簡化很多，構建起來更加容易，效果還會更好。”火山語音團隊表示。實踐顯示，優(yōu)化后的模型不僅對口音和復雜場景展現(xiàn)出更強的魯棒性，而且對領域詞匯的識別能力以及推理速度，字幕上屏速度也得到了大幅度提升。

「背景聲優(yōu)化：細節(jié)之處降低錯誤率」正如球賽結果的變數(shù)頗多，世界杯賽場的環(huán)境更是紛繁復雜，在同傳字幕的語音識別過程中會“遭遇”大量背景噪音，例如背景音樂以及現(xiàn)場球迷的歡呼聲等。針對噪聲影響識別效果的問題，團隊早就關注到該細節(jié)并通過一套自動化的方式從足球比賽音頻中提取出這些噪聲片段，并且在模型中顯式地建模噪聲，將噪聲誤出字的比例下降了95%，同時通過數(shù)據(jù)增強方式提高聲學模型在足球場景下的魯棒性，即在有背景音的情況下也能清晰識別人聲，實現(xiàn)更好的流式字幕效果。

「專項提升：讓字幕效果更佳」“世界杯可不是一般的比賽，這種全球范圍的大型賽事中，大量的專業(yè)術語以及外籍教練與運動員的人名，會為語音識別帶來不小的困難，也為我們帶來很大的挑戰(zhàn)。”對此火山語音團隊率先整理了大量與足球相關以及與世界杯相關的語料，在這些語料的基礎上訓練語言模型，通過語言模型干預的方式，提高了模型在足球領域的適配性。具體根據(jù) RNN-T 的建模方式，通過解藕聲學模型和語言模型，構建了一套靈活和高效的語言模型干預流程。

對于教練與運動員人名識別難的問題，“我們從足球相關語料中自動挖掘專有名詞、球隊和球員名稱等術語，通過在解碼備選中引入FST邏輯結構，結合“匹配走圖+Backoff權重償還”的方式對熱詞進行干預，有效利用該熱詞專項技術優(yōu)化后，這些術語的召回從 64% 提升到 84%；同時還聯(lián)合火山語音音頻合成團隊的同學，采用TTS技術合成術語音頻，并加入聲學模型訓練中，將這些術語的召回進一步提高到90%，進而為觀眾呈現(xiàn)最佳的字幕效果。”

一直以來，火山語音的語音識別技術不斷追求更快、更準、更穩(wěn)定且更強悍的目標，其自主研發(fā)的端到端語音識別系統(tǒng)CIF，與Attention-Based model相比，其整合發(fā)放機制可以更自然適用于流式任務且復雜度有所降低，解碼效率相比RNN-T有很大優(yōu)勢。即在中文公開數(shù)據(jù)集上的測試結果非常有競爭力，在英文公開數(shù)據(jù)集Librispeech的test-clean子集上也達到了SOTA的效果。同時為了進一步提高模型推理速度，火山語音團隊還設計了一套針對語音識別的自動化模型壓縮框架，在保證模型識別效果的同時降低模型尺寸，從而可以在移動終端上實現(xiàn)接近云端的語音識別效果。

如今在火山語音的語音識別技術支持下，火山引擎語音識別產(chǎn)品已廣泛應用于視頻娛樂、辦公會議、硬件交互、智能客服等諸多行業(yè)，為客戶提供了優(yōu)質有前景的語音識別解決方案。例如針對時下火熱的音視頻創(chuàng)作推出的智能字幕解決方案，一改傳統(tǒng)字幕10分鐘視頻3小時制作的耗時費力，不但能在幾秒鐘內(nèi)自動生成精準的語音識別結果，還能兼容多種口音、語種和方言，甚至針對創(chuàng)作常見的配樂和歌曲場景開發(fā)了歌曲識別的亮點功能，大大縮減了創(chuàng)作門檻，提升了創(chuàng)作的智能化。

為應對會議線上化的大趨勢，火山語音上線的實時字幕解決方案不僅可以幫助參會人更好理解會議內(nèi)容并回顧結論，還能通過“識別+翻譯”的同傳方案高效完成跨國、跨語言的溝通和交流；方案中包含的會議轉寫能力，不但可以準確記錄參會人的討論內(nèi)容，還能根據(jù)說話人特征進行自動歸類和整理，通常1小時的會議只需2-3分鐘即可輸出會議記錄，方便快捷。近日，火山引擎語音識別產(chǎn)品獲得了國家語音及圖像識別產(chǎn)品質量檢驗檢測中心（以下簡稱“AI國檢中心”）頒發(fā)的語音識別增強級檢驗檢測證書，也充分表明火山語音的語音識別技術能力已達到行業(yè)領先水平。

長期以來，火山語音面向字節(jié)跳動各大業(yè)務線提供行業(yè)優(yōu)質的AI語音技術能力以及全棧語音產(chǎn)品解決方案，并通過火山引擎對外提供服務。目前團隊的語音識別和語音合成覆蓋了多種語言和方言，涵蓋音視頻、有聲閱讀、語音交互、游戲、廣告等多種應用場景，為抖音、剪映、飛書、番茄小說、PICO等核心業(yè)務提供了領先的語音能力。

（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。 ）