近日，浪潮“源1.0”大模型登頂中文語(yǔ)言能力理解和生成評(píng)測(cè)基準(zhǔn)CUGE總榜榜首，并獲得語(yǔ)言理解(篇章級(jí))、語(yǔ)言生成、對(duì)話交互、多語(yǔ)言、數(shù)學(xué)推理等5項(xiàng)評(píng)測(cè)最佳成績(jī)。這是繼源1.0攬獲權(quán)威中文語(yǔ)言評(píng)測(cè)基準(zhǔn)CLUE榜單的零樣本學(xué)習(xí)和小樣本學(xué)習(xí)兩類(lèi)總榜冠軍后，再次在評(píng)測(cè)中展現(xiàn)強(qiáng)大實(shí)力。

CUGE(Chinese Language Understanding and Generation Evaluation)智源指數(shù)是由清華大學(xué)、北京大學(xué)、北京智源研究院等高校機(jī)構(gòu)共同建立的中文機(jī)器語(yǔ)言能力評(píng)測(cè)基準(zhǔn)，該基準(zhǔn)針對(duì)當(dāng)前自然語(yǔ)言處理和人工智能發(fā)展新范式，面向具有“通用語(yǔ)言能力”的預(yù)訓(xùn)練模型，全面系統(tǒng)、多層次、多維度地評(píng)測(cè)大模型能力。

源1.0領(lǐng)跑多類(lèi)綜合語(yǔ)言場(chǎng)景

在語(yǔ)言理解(篇章級(jí))評(píng)測(cè)中，源1.0僅用時(shí)11分鐘，便完成數(shù)千篇閱讀理解回答4000多個(gè)問(wèn)題，以86.9高分的成績(jī)位居榜首，展現(xiàn)出頂尖的語(yǔ)言理解能力。基于源1.0大模型強(qiáng)大的閱讀理解能力及高速處理大量樣本的特點(diǎn)，未來(lái)將加速勞動(dòng)密集型文本處理等行業(yè)變革，如應(yīng)用于智能客服根據(jù)用戶提供的信息在產(chǎn)品文檔中快速找到解決方案及智能司法、智能招聘系統(tǒng)等。

在語(yǔ)言生成評(píng)測(cè)中，源1.0僅用時(shí)70秒，就完成近800條摘要內(nèi)容的生成，登頂該項(xiàng)榜單。源大模型強(qiáng)大的文本生成能力可提升智能問(wèn)答與對(duì)話、新聞?wù)?、?bào)告生成等場(chǎng)景中AI智能化水平，如從長(zhǎng)篇幅的新聞資訊等文本中提取出簡(jiǎn)明扼要的文字描述，便于及時(shí)、高效的獲取有價(jià)值的信息及智能文案、協(xié)助寫(xiě)作等場(chǎng)景。

在多語(yǔ)言機(jī)器翻譯評(píng)測(cè)中，基于源1.0大模型蒸餾出來(lái)的翻譯模型在完成近4000千對(duì)中英文互譯后，登頂榜首，領(lǐng)先第二名15%。翻譯模型在基于源1.0大模型閱讀的海量高質(zhì)量數(shù)據(jù)集基礎(chǔ)上，采用維基百科、書(shū)籍、聯(lián)合國(guó)文件及字幕組等近80G高質(zhì)量數(shù)據(jù)集進(jìn)行強(qiáng)化訓(xùn)練，因此翻譯不僅專(zhuān)業(yè)準(zhǔn)確，同時(shí)更符合中文表述。未來(lái)可廣泛應(yīng)用于新聞、哲學(xué)、小說(shuō)等日常的語(yǔ)言翻譯場(chǎng)景中。

在對(duì)話交互評(píng)測(cè)中，基于源1.0大模型蒸餾出來(lái)的對(duì)話模型回答了電影、音樂(lè)、旅行3個(gè)領(lǐng)域共近萬(wàn)個(gè)主題對(duì)話，成績(jī)位居榜首，領(lǐng)先第二名成績(jī)30%，展現(xiàn)了極強(qiáng)的智能對(duì)話能力。在繼承源1.0大模型能力的基礎(chǔ)上，對(duì)話模型采用了2660萬(wàn)條醫(yī)療、法律、保險(xiǎn)等不同行業(yè)，歷史、電影、娛樂(lè)等不同場(chǎng)景的對(duì)話語(yǔ)料數(shù)據(jù)進(jìn)行強(qiáng)化訓(xùn)練，在知識(shí)問(wèn)答、高頻閑聊等開(kāi)放式任務(wù)上表現(xiàn)突出，此前已獲得業(yè)界權(quán)威測(cè)評(píng)WebQA開(kāi)放問(wèn)答數(shù)據(jù)集榜單冠軍。

當(dāng)前，智能對(duì)話普遍存在內(nèi)容乏味、主題不連貫等問(wèn)題，往往幾輪對(duì)話后，回答便空洞重復(fù)，大大降低用戶體驗(yàn)。知識(shí)驅(qū)動(dòng)的對(duì)話模型直接連接到廣泛的知識(shí)庫(kù)，大大增加對(duì)話內(nèi)容的豐富度，在一定知識(shí)背景下也不會(huì)偏題，更趨向于人類(lèi)之間的交談。不久前，源開(kāi)發(fā)者社區(qū)的一位開(kāi)發(fā)者基于源的對(duì)話模型創(chuàng)建了一位能與人類(lèi)玩劇本殺的AI虛擬玩家，一位人類(lèi)玩家與AI虛擬玩家聊天到深夜凌晨仍興趣盎然。以知識(shí)驅(qū)動(dòng)的對(duì)話模型，可廣泛應(yīng)用于各類(lèi)虛擬人、智能助手、智能客服等場(chǎng)景，并極大提升對(duì)話的智能水平和用戶體驗(yàn)。

　　源1.0在數(shù)學(xué)推理鋒芒初露

當(dāng)前業(yè)界各類(lèi)大模型在自然語(yǔ)言處理領(lǐng)域展示出了強(qiáng)大的能力，但在數(shù)學(xué)領(lǐng)域卻還存在盲區(qū)。數(shù)學(xué)對(duì)邏輯和推理能力有極強(qiáng)的要求，Open AI開(kāi)發(fā)出多種方法訓(xùn)練GPT-3的數(shù)學(xué)推理能力，但在挑戰(zhàn)小學(xué)數(shù)學(xué)應(yīng)用題時(shí)，GPT-3也尚未及格，數(shù)學(xué)推理能力甚至低于9-12歲兒童。

為更好評(píng)測(cè)大模型邏輯推理能力，CUGE專(zhuān)門(mén)設(shè)立了數(shù)學(xué)推理能力榜單，主要考察模型數(shù)值計(jì)算能力，即考察對(duì)應(yīng)用情景和任務(wù)的理解抽象能力以及數(shù)值計(jì)算能力，類(lèi)似于小學(xué)數(shù)學(xué)應(yīng)用題。數(shù)學(xué)推理能力榜單數(shù)據(jù)庫(kù)內(nèi)的數(shù)學(xué)題來(lái)自在線教育網(wǎng)站提供的小學(xué)數(shù)學(xué)應(yīng)用題。

在CUGE數(shù)學(xué)推理評(píng)測(cè)中，源1.0大模型完成1000道小學(xué)數(shù)學(xué)應(yīng)用題，以76.9的高分大幅領(lǐng)先高居榜首。

為應(yīng)對(duì)大模型在數(shù)學(xué)推理方面的挑戰(zhàn)，浪潮為源1.0開(kāi)發(fā)了一套相似啟發(fā)式數(shù)據(jù)增強(qiáng)的方案，給每一個(gè)要求解的數(shù)學(xué)問(wèn)題從數(shù)據(jù)庫(kù)中檢索并匹配一個(gè)相似的題目并與原題目進(jìn)行拼接，通過(guò)類(lèi)比學(xué)習(xí)，啟發(fā)大模型能夠根據(jù)兩道相似問(wèn)題更好地學(xué)習(xí)如何給出解題表達(dá)式，進(jìn)而學(xué)會(huì)每一類(lèi)題目的解法，類(lèi)似于人類(lèi)在學(xué)習(xí)過(guò)程中會(huì)通過(guò)連續(xù)學(xué)習(xí)同一類(lèi)型的題目來(lái)提高對(duì)這一類(lèi)型題目的理解能力;同時(shí)，浪潮在源1.0改進(jìn)了算法掩碼策略，使得模型在學(xué)習(xí)過(guò)程中只關(guān)注于連續(xù)的相似的題目，不受同一個(gè)輸入序列中不相關(guān)題目的影響，這樣模型可以更專(zhuān)注于學(xué)習(xí)同一類(lèi)型的題目，極大地提升了解題準(zhǔn)確度，全方面培養(yǎng)一個(gè)數(shù)學(xué)學(xué)霸。

源1.0開(kāi)源開(kāi)放計(jì)劃收效顯著

目前，浪潮“源1.0”已經(jīng)將模型API、高質(zhì)量數(shù)據(jù)集、模型訓(xùn)練代碼、推理代碼和應(yīng)用代碼等等工具和能力開(kāi)源開(kāi)放，超過(guò)300家行業(yè)用戶和開(kāi)發(fā)者，通過(guò)“源1.0”提供的數(shù)據(jù)和API顯著提升了金融、互聯(lián)網(wǎng)、醫(yī)療和自動(dòng)駕駛等行業(yè)應(yīng)用的精度。浪潮源1.0將持續(xù)助力行業(yè)用戶和開(kāi)發(fā)者，攜手推動(dòng)技術(shù)創(chuàng)新、場(chǎng)景融合、應(yīng)用開(kāi)發(fā)，共同促進(jìn)大模型的健康發(fā)展與產(chǎn)業(yè)落地，加速AI產(chǎn)業(yè)化和產(chǎn)業(yè)AI化發(fā)展。

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）