2022年1月14日，由廈門大學(xué)、清華大學(xué)、海天瑞聲、西北工業(yè)大學(xué)及昆山杜克大學(xué)聯(lián)合主辦，中國(guó)計(jì)算機(jī)學(xué)會(huì)語(yǔ)音對(duì)話與聽覺(jué)專委會(huì)、中文信息學(xué)會(huì)協(xié)辦的第六屆“OLR2021東方語(yǔ)種識(shí)別”國(guó)際競(jìng)賽研討會(huì)在線上成功召開。網(wǎng)易互娛AI Lab在本次競(jìng)賽中以絕對(duì)領(lǐng)先的優(yōu)勢(shì)奪取了多語(yǔ)種語(yǔ)音識(shí)別賽道雙料冠軍，分別是多語(yǔ)種語(yǔ)音識(shí)別受限任務(wù)的第一名和多語(yǔ)種語(yǔ)音識(shí)別開放任務(wù)的第一名。
東方語(yǔ)種識(shí)別競(jìng)賽主要專注于東亞（中國(guó)、日本、韓國(guó)等）以及東南亞（印尼、越南等）地區(qū)的語(yǔ)言研究。此次比賽多語(yǔ)種語(yǔ)音識(shí)別任務(wù)突破了歷屆比賽僅識(shí)別語(yǔ)種的任務(wù)限制，在不給定測(cè)試語(yǔ)音語(yǔ)種標(biāo)簽的情況下，參賽隊(duì)伍模型需要識(shí)別出多語(yǔ)種混合測(cè)試集的語(yǔ)音內(nèi)容。今年已經(jīng)是OLR比賽的第六屆，本屆比賽吸引來(lái)自中國(guó)、加拿大、印度 等國(guó)家的高校和企業(yè)參加。
圖1. OLR歷屆冠軍隊(duì)伍及2021參賽隊(duì)伍信息
本次比賽多語(yǔ)種語(yǔ)音識(shí)別賽道的任務(wù)是構(gòu)建包含13種語(yǔ)言（普通話、粵語(yǔ)、日文、印尼語(yǔ)、越南語(yǔ)以及地區(qū)方言等）的混合語(yǔ)音識(shí)別系統(tǒng)。而其中受限任務(wù)賽道每種語(yǔ)言僅提供約10小時(shí)帶標(biāo)簽訓(xùn)練數(shù)據(jù)，訓(xùn)練數(shù)據(jù)資源的稀缺使得設(shè)計(jì)相應(yīng)模型具有較大的挑戰(zhàn)。針對(duì)比賽中的難點(diǎn)，網(wǎng)易互娛AI Lab采用基于Hybrid和E2E的結(jié)構(gòu)，針對(duì)普通話、粵語(yǔ)、上海話、日語(yǔ)和印尼語(yǔ)，使用Hybrid結(jié)構(gòu)并訓(xùn)練相應(yīng)單語(yǔ)種語(yǔ)音識(shí)別模型，該方法在低資源數(shù)據(jù)場(chǎng)景下，可以獲得比E2E模型更好的結(jié)果；針對(duì)其他語(yǔ)言，由于缺少發(fā)音詞典和文本數(shù)據(jù)，則使用多種語(yǔ)言混合訓(xùn)練E2E結(jié)構(gòu)。比賽通過(guò)語(yǔ)種識(shí)別模型將多語(yǔ)種模型和單語(yǔ)種模型進(jìn)行耦合，進(jìn)一步提升性能。
比賽使用CER（字符錯(cuò)誤率）作為評(píng)價(jià)指標(biāo)，CER越小表示系統(tǒng)識(shí)別率越高。在受限任務(wù)賽道上，網(wǎng)易互娛AI Lab取得13.1%的平均CER，字符錯(cuò)誤率比官方基線系統(tǒng)相對(duì)降低66%，比第二名相對(duì)降低28%。值得一提的是，網(wǎng)易互娛AI Lab的多語(yǔ)種單模型亦超過(guò)第二名的融合系統(tǒng)。在實(shí)際工業(yè)級(jí)語(yǔ)音識(shí)別應(yīng)用中，使用單系統(tǒng)部署可以降低服務(wù)成本，也便于快速更新維護(hù)。
圖2.多語(yǔ)種語(yǔ)音識(shí)別受限賽道排名情況
在開放任務(wù)賽道上，網(wǎng)易互娛AI Lab基于受限賽道系統(tǒng)，融合了中文普通話、日語(yǔ)、印尼語(yǔ)等三個(gè)利用外部數(shù)據(jù)的模型，取得12.6%的CER，字符錯(cuò)誤率比第二名相對(duì)降低30%。
圖3.多語(yǔ)種語(yǔ)音識(shí)別開放賽道排名情況
目前，網(wǎng)易互娛多語(yǔ)種語(yǔ)音識(shí)別的應(yīng)用價(jià)值主要在海外業(yè)務(wù)應(yīng)用場(chǎng)景。對(duì)于海外語(yǔ)音識(shí)別，僅根據(jù)用戶手機(jī)語(yǔ)言設(shè)置、IP所在地區(qū)進(jìn)行相應(yīng)語(yǔ)言、語(yǔ)種的判斷，無(wú)法做到非常高的準(zhǔn)確率。通過(guò)使用多語(yǔ)種語(yǔ)音識(shí)別系統(tǒng)，在一定程度上可以解決/緩解語(yǔ)種不匹配導(dǎo)致的語(yǔ)音轉(zhuǎn)文字語(yǔ)種混亂問(wèn)題。針對(duì)東南亞地區(qū)，網(wǎng)易互娛AI Lab目前已支持集印尼、馬來(lái)、英語(yǔ)三種語(yǔ)言于一體的多語(yǔ)言混合語(yǔ)音識(shí)別系統(tǒng)，該系統(tǒng)可以同時(shí)支持3種語(yǔ)言的語(yǔ)音識(shí)別。
網(wǎng)易互娛AI Lab成立于2017年，隸屬于網(wǎng)易互動(dòng)娛樂(lè)事業(yè)群，在廣州、杭州、上海均有分部，是游戲行業(yè)領(lǐng)先的人工智能實(shí)驗(yàn)室。實(shí)驗(yàn)室致力于計(jì)算機(jī)視覺(jué)、語(yǔ)音和自然語(yǔ)言處理，以及強(qiáng)化學(xué)習(xí)等技術(shù)在游戲場(chǎng)景下的研究，應(yīng)用和落地，旨在通過(guò)AI技術(shù)助力互娛旗下熱門游戲及產(chǎn)品的技術(shù)升級(jí)，目前技術(shù)已應(yīng)用于網(wǎng)易互娛旗下多款熱門游戲，如《夢(mèng)幻西游》《哈利波特：魔法覺(jué)醒》《陰陽(yáng)師》《天下3》等等。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
