精品国产亚洲一区二区三区|亚洲国产精彩中文乱码AV|久久久久亚洲AV综合波多野结衣|漂亮少妇各种调教玩弄在线

<blockquote id="ixlwe"><option id="ixlwe"></option></blockquote>
  • <span id="ixlwe"></span>

  • <abbr id="ixlwe"></abbr>

    OPPO小布推出預(yù)訓(xùn)練大模型OBERT,晉升KgCLUE榜首

    近日,OPPO小布助手團隊和機器學(xué)習(xí)部聯(lián)合完成了十億參數(shù)模型“OBERT”的預(yù)訓(xùn)練,業(yè)務(wù)上取得了4%以上的提升;在行業(yè)對比評測中,OBERT躍居中文語言理解測評基準CLUE1.1總榜第五名、大規(guī)模知識圖譜問答KgCLUE1.0排行榜第一名,在十億級模型上進入第一梯隊,多項子任務(wù)得分與排前3名的百億參數(shù)模型效果非常接近,而參數(shù)量僅為后者的十分之一,更有利于大規(guī)模工業(yè)化應(yīng)用。

    CLUE1.1總榜,共9個子任務(wù)

    KgCLUE1.0,知識圖譜問答榜

    技術(shù)全自研,小布推動十億級預(yù)訓(xùn)練大模型落地

    大規(guī)模預(yù)訓(xùn)練模型的出現(xiàn),為自然語言處理任務(wù)帶來了新的求解范式,也顯著地提升了各類NLP任務(wù)的基準效果。自2020年,OPPO小布助手團隊開始對預(yù)訓(xùn)練模型進行探索和落地應(yīng)用,從“可大規(guī)模工業(yè)化”的角度出發(fā),先后自研了一億、三億和十億參數(shù)量的預(yù)訓(xùn)練模型OBERT。

    預(yù)訓(xùn)練模型開發(fā)&應(yīng)用方案

    得益于數(shù)據(jù)獲取的低成本性和語言模型強大的遷移能力,目前NLP預(yù)訓(xùn)練主流的任務(wù)是基于分布式假設(shè)的語言模型。在此,小布助手團隊選擇了在下游自然語言理解類(NLU)任務(wù)上有更好效果的MLM,并采用課程學(xué)習(xí)作為主要預(yù)訓(xùn)練策略,由易到難循序漸進,提高訓(xùn)練穩(wěn)定性。首先在一億級模型上驗證了以上mask策略的有效性,其Zero-shot效果顯著優(yōu)于開源base級模型,下游應(yīng)用時也取得了收益,隨后將其應(yīng)用到十億級模型訓(xùn)練中。

    ZeroCLUE榜單

    值得一提的是,從開源工作實驗結(jié)果來看,語料的數(shù)量和內(nèi)容多樣性越大,下游任務(wù)效果會隨之提升。基于前期的探索和嘗試,十億級OBERT模型清洗和收集了1.6 TB級語料,通過5種mask機制從中學(xué)習(xí)語言知識,內(nèi)容包含百科、社區(qū)問答、新聞等,場景涉及意圖理解、多輪聊天、文本匹配等NLP任務(wù)。

    加強應(yīng)用創(chuàng)新,小布持續(xù)深耕NLP技術(shù)

    CLUE(中文語言理解評測集合)榜單是中文領(lǐng)域最具權(quán)威的自然語言理解榜單之一,開設(shè)了包括分類、文本相似度、閱讀理解、上下文推理等共10個子任務(wù),旨在推動NLP訓(xùn)練模型技術(shù)的不斷進步和突破。

    NLP(自然語言處理)技術(shù)被譽為人工智能皇冠上的明珠。作為人工智能認知能力的核心,NLP是AI領(lǐng)域最具挑戰(zhàn)的賽道之一,其目的是使得計算機具備人類的聽、說、讀、寫等能力,并利用知識和常識進行推理和決策。

    小布助手發(fā)布于2019年,到2021年底,它已經(jīng)累計搭載2.5 億設(shè)備,月活用戶數(shù)突破1.3 億,月交互次數(shù)達20 億,成為國內(nèi)首個月活用戶數(shù)破億的手機語音助手,一躍成為國內(nèi)新一代智能助手的代表。

    在NLP技術(shù)方面,小布助手經(jīng)歷了從規(guī)則引擎、簡單模型到強深度學(xué)習(xí),再到預(yù)訓(xùn)練模型幾個階段。歷經(jīng)3年的發(fā)展,小布助手在NLP技術(shù)領(lǐng)域已達到行業(yè)領(lǐng)先水平,此次OBERT位列CLUE 1.1總榜前五、KgCLUE 1.0排行榜榜首,便是小布助手技術(shù)沉淀與積累的最好力證。

    登榜CLUE 1.1總榜并登頂KgCLUE 1.0排行榜,主要得益于三個方面:一是利用小布助手積累的海量數(shù)據(jù),獲得口語化的語言數(shù)據(jù),促進算法模型對智能助手場景的語言有更好的理解;二是保持著開放的成長型心態(tài),跟進學(xué)術(shù)界和工業(yè)界最新的進展并加以實踐;三是堅定地在最新預(yù)訓(xùn)練模型方向進行投入,一點一點地去做技術(shù)積累,一次一次地探索落地應(yīng)用。

    未來,小布助手團隊會結(jié)合智能助手場景特點,持續(xù)優(yōu)化預(yù)訓(xùn)練技術(shù),深耕NLP,利用模型輕量化等技術(shù)加速大模型落地,并持續(xù)探索AI與主動情感的結(jié)合,讓智能更人性化,在萬物互融的時代,助力推動AI大放異彩,幫助AI潤物細無聲地融入人們未來的數(shù)智生活。

    (免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責(zé)任。
    任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )