近日，由中國信息通信研究院、深度學習技術(shù)及應用國家工程研究中心、人工智能關(guān)鍵技術(shù)和應用評測工信部重點實驗室共同發(fā)起的2022可信AI峰會圓滿落下帷幕，峰會發(fā)布了大規(guī)模預訓練模型技術(shù)與應用評測標準體系，并公布了2022大模型優(yōu)秀應用案例名單。

作為OPPO AI技術(shù)落地的關(guān)鍵承載，OPPO小布助手與其他大模型頭部企業(yè)、高校院所、互聯(lián)網(wǎng)企業(yè)、電信運營商及金融機構(gòu)等組織合作，共同參與大模型開發(fā)、模型能力等標準的制定，加速技術(shù)應用落地。在大規(guī)模技術(shù)的應用實踐中，小布助手團隊憑借NLP大模型的應用實踐入選“2022大規(guī)模預訓練模型優(yōu)秀應用案例”，技術(shù)創(chuàng)新與應用實踐再獲行業(yè)認可。

大規(guī)模預訓練模型是當前人工智能發(fā)展的重點，通過提升技術(shù)能力加速AI工程化落地進程。然而，如何在利用大模型加速技術(shù)創(chuàng)新與應用實踐之余，充分提升計算資源的利用效率，仍是大模型技術(shù)在工業(yè)化落地中面臨的關(guān)鍵挑戰(zhàn)。

具體地說，大模型的使用能夠有效降低語義理解模型在新業(yè)務(wù)冷啟動場景中的數(shù)據(jù)需求量，適用更多的智能交互場景，并大大提升語義理解能力。但在工程部署上，由于語音助手的多個獨立NLU服務(wù)分開部署分別推理，面臨著巨大的GPU計算壓力的挑戰(zhàn)。

自2020年起，小布助手團隊便從“可大規(guī)模工業(yè)化”的角度出發(fā)，著力探索預訓練大模型的技術(shù)創(chuàng)新和應用落地。小布助手團隊通過引入統(tǒng)一表征方案，在在線推理時拆解為2個網(wǎng)絡(luò)，即統(tǒng)一表征的骨干網(wǎng)絡(luò)(12層transformer)和任務(wù)相關(guān)的下游微調(diào)網(wǎng)絡(luò)(層數(shù)往往小于3的transformer)，從而解決了多NLU的GPU計算資源問題。相比傳統(tǒng)深度學習模型效果提升2%以上，相比單獨Fine-Tuning在全局計算量上減少了2/3，為NLP大模型技術(shù)在行業(yè)其他領(lǐng)域的拓展及未來工業(yè)化應用奠定了堅實基礎(chǔ)。

基于對NLP技術(shù)的深刻洞察與持續(xù)投入，小布助手在NLP技術(shù)領(lǐng)域達到了行業(yè)領(lǐng)先水平，并在多個權(quán)威榜單中獲得了亮眼的成績。今年7月，小布助手十億參數(shù)模型“OBERT” 躍居中文語言理解測評基準CLUE1.1總榜第五名、大規(guī)模知識圖譜問答KgCLUE1.0排行榜第一名、命名實體任務(wù)CLUE-NER排行榜第一名，在十億級模型上進入第一梯隊。

未來，小布助手團隊將結(jié)合智能助手場景特點持續(xù)優(yōu)化預訓練技術(shù)，基于小布助手已有的海量數(shù)據(jù)，以開放的成長型心態(tài)深耕NLP技術(shù)領(lǐng)域，包括利用檢索增強范式優(yōu)化短文本表征、挖掘和利用反饋信息構(gòu)建無監(jiān)督預訓練任務(wù)以及探索模型輕量化技術(shù)加速大模型的落地等，重點聚焦模型優(yōu)化與工程性能，深化預訓練模型計算資源與算法效果平衡的落地實踐，致力于在萬物互融時代為用戶提供更友好自然的人機交互體驗。

在專注技術(shù)創(chuàng)新的同時，小布助手還將積極參與大模型技術(shù)產(chǎn)業(yè)生態(tài)合作交流，緊跟學術(shù)前沿成果，把握業(yè)界向預訓練模型遷移的工程化趨勢，擁抱端云協(xié)同發(fā)展的大模型生態(tài)，合力與更多業(yè)界伙伴一同突破大模型實踐的應用障礙，助力大模型技術(shù)在行業(yè)應用中實現(xiàn)落地賦能與商業(yè)變現(xiàn)的雙贏。

（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）