近日，騰訊云AI與騰訊優(yōu)圖實(shí)驗(yàn)室的加速團(tuán)隊(duì)在CLUE語言分類任務(wù)上進(jìn)行試驗(yàn)，一舉在CLUE分類任務(wù)1.0和1.1中拿下業(yè)界第一的好成績。

(HUMAN為人類標(biāo)注成績，非模型效果，不參與排名。)

如何與AI進(jìn)行無障礙的對話?

近年來隨著人工智能的發(fā)展，NLP(自然語言處理)一直是業(yè)內(nèi)外關(guān)注的焦點(diǎn)，其中預(yù)訓(xùn)練模型(Pre-Trained Model，PTM)技術(shù)作為當(dāng)下最具有革命性的創(chuàng)新成果，正成為國內(nèi)外互聯(lián)網(wǎng)企業(yè)探索的重點(diǎn)，構(gòu)建以中文為核心的超大規(guī)模預(yù)訓(xùn)練模型及生態(tài)勢在必行，各大公司在反哺自身業(yè)務(wù)的同時(shí)紛紛向CLUE榜單發(fā)起“沖鋒”。

CLUE是中文語言理解領(lǐng)域最具權(quán)威性的測評基準(zhǔn)之一，涵蓋了文本相似度、分類、閱讀理解等眾多語義分析和理解類子任務(wù)。作為“刷榜利器”的預(yù)訓(xùn)練模型就是通過在大規(guī)模文本上匯聚大量算力，不斷集約化地訓(xùn)練大模型，預(yù)訓(xùn)練出通用的語言特征，就可以提供給大量企業(yè)使用，大大降低了自然語言處理研究和應(yīng)用的門檻。

“工欲善其事，必先利其器”

騰訊云TI平臺是基于騰訊云強(qiáng)大計(jì)算能力的一站式機(jī)器學(xué)習(xí)生態(tài)服務(wù)平臺。它能夠?qū)Ω鞣N數(shù)據(jù)源、組件、算法、模型和評估模塊進(jìn)行組合，使得算法工程師和數(shù)據(jù)科學(xué)家在其之上能夠方便地進(jìn)行模型訓(xùn)練、評估和預(yù)測。TI系列產(chǎn)品支持公有云訪問、私有化部署以及專屬云部署。

TI-ACC是騰訊云AI和優(yōu)圖實(shí)驗(yàn)室最新發(fā)布的一款A(yù)I加速組件產(chǎn)品，是基于優(yōu)圖實(shí)驗(yàn)室開源的跨平臺高性能推理框架TNN和訓(xùn)練框架(TI系列)基礎(chǔ)上的一次全新升級，能同時(shí)為企業(yè)提供AI模型訓(xùn)練和推理加速服務(wù)，支持多種框架和場景，能夠顯著提高模型訓(xùn)練推理效率、降低成本。

本次大模型的預(yù)訓(xùn)練完全依托于騰訊云TI平臺，并采用TI-ACC進(jìn)行訓(xùn)練加速。整體的訓(xùn)練方案如下：

首先，模型的出色效果離不開背后海量優(yōu)質(zhì)中文預(yù)訓(xùn)練語料的支持。騰訊云團(tuán)隊(duì)在TI平臺上構(gòu)建了海量語料的預(yù)處理、清洗和評估任務(wù)，匯集了小說、新聞、社區(qū)評論等的不同領(lǐng)域的優(yōu)質(zhì)內(nèi)容，以及各學(xué)科論文、應(yīng)用描述等專業(yè)性較強(qiáng)的特定內(nèi)容，篩選出數(shù)百GB高質(zhì)量中文語料，確保數(shù)據(jù)“來源廣”且“質(zhì)量精”。

在此基礎(chǔ)上，針對NLP超大模型的特點(diǎn)和存在的問題，騰訊云團(tuán)隊(duì)結(jié)合底層基礎(chǔ)設(shè)施在單機(jī)計(jì)算性能和多機(jī)擴(kuò)展兩方面進(jìn)行了深度優(yōu)化。在計(jì)算性能優(yōu)化方面，TI-ACC對Transformer結(jié)構(gòu)模型進(jìn)行了稀疏化計(jì)算、算子融合、動(dòng)態(tài)文本長度輸入等優(yōu)化。在多機(jī)擴(kuò)展上，采用了Zero-DP技術(shù)結(jié)合反向圖顯存節(jié)省、大模型參數(shù)多輪通信、應(yīng)用層NCCL通信優(yōu)化和參數(shù)自動(dòng)調(diào)優(yōu)等優(yōu)化手段。最終，TI-ACC能夠高效訓(xùn)練千億級參數(shù)的NLP大模型，極大的提升了模型預(yù)訓(xùn)練效率。

此外，我們在模型上對Transformer結(jié)構(gòu)做了微調(diào)，再加上漸進(jìn)式的課程學(xué)習(xí)訓(xùn)練方案，使得大模型能夠更快學(xué)會更多的知識。

此次登頂CLUE榜單，一方面代表了騰訊云在NLP生態(tài)領(lǐng)域達(dá)到了業(yè)內(nèi)領(lǐng)先水平，另一方面預(yù)示著TI-ACC助力中文預(yù)訓(xùn)練模型在高效訓(xùn)練和推理方面邁上新臺階。

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）