近日，華為云AI團(tuán)隊(duì)獲得第9屆國(guó)際自然語(yǔ)言處理與中文計(jì)算會(huì)議NLPCC 2020 輕量級(jí)預(yù)訓(xùn)練中文語(yǔ)言模型測(cè)評(píng)第一名。

NLPCC 由中國(guó)計(jì)算機(jī)學(xué)會(huì)主辦，是自然語(yǔ)言處理(NLP)和中文計(jì)算(CC)領(lǐng)域的頂級(jí)國(guó)際前沿會(huì)議，每年會(huì)議都秉承國(guó)際化和一流化的嚴(yán)格標(biāo)準(zhǔn)來(lái)進(jìn)行自然語(yǔ)言處理任務(wù)的開(kāi)放評(píng)測(cè)，推動(dòng)相關(guān)任務(wù)的研究和發(fā)展。NLPCC 2020吸引了康奈爾大學(xué)、倫敦大學(xué)、普林斯頓大學(xué)等海內(nèi)外近600位自然語(yǔ)言處理領(lǐng)域的專家及學(xué)者參加大會(huì)，其中400余位專家學(xué)者在現(xiàn)場(chǎng)共同見(jiàn)證開(kāi)放評(píng)測(cè)任務(wù)第一名的誕生。

當(dāng)下，預(yù)訓(xùn)練語(yǔ)言模型已經(jīng)成為NLP的主流方法，在多項(xiàng)NLP任務(wù)上都取得了明顯的效果提升。但是預(yù)訓(xùn)練語(yǔ)言模型往往比較大，限制了預(yù)訓(xùn)練語(yǔ)言模型的應(yīng)用場(chǎng)景。因此，如何構(gòu)建輕量級(jí)的預(yù)訓(xùn)練語(yǔ)言模型就成了一個(gè)關(guān)鍵問(wèn)題。

預(yù)訓(xùn)練語(yǔ)言模型出現(xiàn)以來(lái)發(fā)展得非常迅速，目前已經(jīng)演化形成了一個(gè)家族

中文輕量級(jí)預(yù)訓(xùn)練語(yǔ)言模型能力評(píng)測(cè)任務(wù)的目的在于讓參賽團(tuán)隊(duì)減少語(yǔ)言模型大小的同時(shí)盡可能保證模型效果。本次比賽包含四個(gè)任務(wù)，分別是指代消解，關(guān)鍵詞識(shí)別兩個(gè)句子級(jí)別分類任務(wù)，實(shí)體識(shí)別序列標(biāo)注任務(wù)，MRC閱讀理解任務(wù)，從不同角度評(píng)測(cè)模型的語(yǔ)義表達(dá)能力。同時(shí)，比賽要求模型的參數(shù)量低于bert-base模型的1/9，模型推理速度達(dá)到bert-base模型的8倍，這就要求模型運(yùn)行快，體積小，效果好。

一般來(lái)說(shuō)，可以通過(guò)量化、剪枝、蒸餾等方法來(lái)壓縮大預(yù)訓(xùn)練語(yǔ)言模型來(lái)獲得輕量級(jí)模型。華為云與諾亞方舟實(shí)驗(yàn)室聯(lián)合團(tuán)隊(duì)基于自研的NEZHA中文預(yù)訓(xùn)練模型通過(guò)知識(shí)蒸餾得到tiny-NEZHA輕量級(jí)模型摘得桂冠。

相比其他模型，華為的模型在結(jié)構(gòu)上找到了一個(gè)較好的平衡點(diǎn)，采用TinyBERT兩步蒸餾的方式讓模型更好地學(xué)到任務(wù)相關(guān)的知識(shí)，蒸餾過(guò)程中用語(yǔ)言模型預(yù)測(cè)并替換部分token的方式進(jìn)行數(shù)據(jù)增強(qiáng)可以使小模型擁有更強(qiáng)泛化性。

TinyBERT知識(shí)蒸餾的損失函數(shù)中一個(gè)重要環(huán)節(jié)是讓中間層去學(xué)習(xí)隱藏狀態(tài)和attention向量

同時(shí)，華為自研的NEZHA預(yù)訓(xùn)練語(yǔ)言模型采用相對(duì)位置編碼替換BERT的參數(shù)化絕對(duì)位置編碼，能更直接地建模token間的相對(duì)位置關(guān)系，從而提升語(yǔ)言模型的表達(dá)能力。

在即將過(guò)去的2020年里，華為云AI在人工智能領(lǐng)域的研發(fā)成績(jī)斐然，斬獲十二項(xiàng)包含WSDM、WebVision、CCKS篇章級(jí)事件抽取技術(shù)評(píng)測(cè)冠軍、人工智能金煉獎(jiǎng)、德國(guó)紅點(diǎn)在內(nèi)的國(guó)際國(guó)內(nèi)榜單冠軍和獎(jiǎng)項(xiàng)。華為云AI將繼續(xù)夯實(shí)技術(shù)優(yōu)勢(shì)，做智能世界的“黑土地”，持續(xù)踐行普惠AI，將AI服務(wù)觸及每一位開(kāi)發(fā)者、每一個(gè)企業(yè)，助力各行各業(yè)進(jìn)入人工智能新時(shí)代

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）