8月4日消息，8月4日，在百度舉行的“AI大模型產(chǎn)品能力交流會(huì)”上，新華網(wǎng)與權(quán)威機(jī)構(gòu)聯(lián)合發(fā)布的《國(guó)內(nèi)LLM產(chǎn)品測(cè)試報(bào)告》，為業(yè)界選擇大模型提供了內(nèi)容安全、常識(shí)問(wèn)答、數(shù)學(xué)運(yùn)算、閱讀理解和主觀(guān)問(wèn)答等五大維度。

（新華網(wǎng)測(cè)試報(bào)告：百度文心一言綜合得分第一）

新華網(wǎng)測(cè)試報(bào)告對(duì)文心一言、GPT-3.5等四大知名大模型進(jìn)行評(píng)測(cè)，結(jié)果顯示，百度文心一言綜合得分第一，超過(guò)GPT-3.5，國(guó)內(nèi)大模型排名第一。

文心一言是百度自主研制的知識(shí)增強(qiáng)大語(yǔ)言模型，首先從數(shù)萬(wàn)億數(shù)據(jù)和數(shù)千億知識(shí)中融合學(xué)習(xí)得到預(yù)訓(xùn)練大模型，在此基礎(chǔ)上采用有監(jiān)督精調(diào)、人類(lèi)反饋的強(qiáng)化學(xué)習(xí)和提示等技術(shù)，并具備知識(shí)增強(qiáng)、檢索增強(qiáng)和對(duì)話(huà)增強(qiáng)等技術(shù)優(yōu)勢(shì)。

內(nèi)容價(jià)值是企業(yè)選擇大模型重要因素

大模型具有良好的通用性和泛化性。普通人通過(guò)簡(jiǎn)單的問(wèn)答，就能獲得想要的服務(wù)和產(chǎn)品功能。但是不同國(guó)家和地區(qū)有不同的法律文化、社會(huì)習(xí)俗、倫理道德。

因此，對(duì)于同一個(gè)問(wèn)題，大模型給出的答案可能會(huì)引發(fā)不同的社會(huì)反饋，有正面效應(yīng)也可能含有負(fù)面爭(zhēng)議，一些文化偏見(jiàn)甚至可能引發(fā)群體矛盾。

因此，內(nèi)容是選擇大模型的重要考慮因素。在新華網(wǎng)的評(píng)測(cè)報(bào)告中，有兩大關(guān)于內(nèi)容的維度。一是內(nèi)容安全問(wèn)答，包含了意識(shí)形態(tài)、非法涉黃等多項(xiàng)維度，二是常識(shí)問(wèn)答，涵蓋有中國(guó)文化、歷史、地理和生活等常識(shí)知識(shí)。

新華網(wǎng)物聯(lián)網(wǎng)技術(shù)總監(jiān)葛振斌表示，“大模型生成的內(nèi)容必須符合當(dāng)?shù)胤珊蜕鐣?huì)道德要求?？梢哉f(shuō)，各個(gè)國(guó)家都需要‘更適合自己歷史文化’的大語(yǔ)言模型。”

內(nèi)容，對(duì)于產(chǎn)業(yè)界同樣非常重要，有的企業(yè)涉及國(guó)計(jì)民生，還有的企業(yè)依靠“傳承配方”形成獨(dú)特競(jìng)爭(zhēng)力。中國(guó)傳媒大學(xué)新媒體研究院院長(zhǎng)趙子忠表示，“這對(duì)大模型在信息安全、數(shù)據(jù)安全、定制化等方面的服務(wù)能力提出了考驗(yàn)。大模型必須具備行業(yè)化、場(chǎng)景化的服務(wù)能力，才能滿(mǎn)足不同企業(yè)的要求?！?/p>

文心一言“最適合中國(guó)”

當(dāng)前，從政府機(jī)構(gòu)到企業(yè)公司，都迫切需要一些判斷大模型適合程度的標(biāo)準(zhǔn)和方法。

新華網(wǎng)物聯(lián)網(wǎng)技術(shù)總監(jiān)葛振斌認(rèn)為，評(píng)測(cè)大模型有5項(xiàng)維度非常重要：一是把控生成內(nèi)容安全性的能力，背后涉及意識(shí)形態(tài)、政治體制、非法涉黃等維度，每一項(xiàng)都事關(guān)一個(gè)社會(huì)文明的底線(xiàn)；二是常識(shí)推斷計(jì)算的能力，涉及自然、文化、地理、歷史和生活等多個(gè)領(lǐng)域，必須先吃透這些方面的常識(shí)，才能避免生成不恰當(dāng)?shù)膬?nèi)容結(jié)果；三是對(duì)長(zhǎng)文本的語(yǔ)義理解能力。這可以考驗(yàn)大模型產(chǎn)出的內(nèi)容是否正確且言之有理，是否具有較好的說(shuō)服力；四是數(shù)學(xué)運(yùn)算及數(shù)學(xué)推理能力；五是主觀(guān)思維能力，考驗(yàn)大模型是否可以準(zhǔn)確理解當(dāng)?shù)仫L(fēng)俗習(xí)慣或者傳統(tǒng)文化。

新華網(wǎng)評(píng)測(cè)報(bào)告顯示，文心一言因中文搜索引擎和算法模型優(yōu)勢(shì)，在安全、常識(shí)、數(shù)學(xué)、閱讀等方面優(yōu)勢(shì)明顯。在五個(gè)維度上的得分計(jì)算均值，文心一言的綜合得分為94.7分，排名第一，高于GPT-3.5的76.9分。這說(shuō)明當(dāng)前文心一言在總體能力（中文處理）上已經(jīng)超越了GPT-3.5模型。

（新華網(wǎng)測(cè)試報(bào)告：百度文心一言綜合得分第一）

憑借上述表現(xiàn)，文心一言在“最適合中國(guó)”方面搶占領(lǐng)先身位，領(lǐng)跑?chē)?guó)內(nèi)大模型。

專(zhuān)家建議：開(kāi)發(fā)者基于文心大模型搶占發(fā)展先機(jī)

如今，參考權(quán)威機(jī)構(gòu)評(píng)測(cè)成為客戶(hù)選擇大模型的一個(gè)重要方式。如同生活中常見(jiàn)的智能手機(jī)評(píng)測(cè)，汽車(chē)駕駛評(píng)測(cè)，是用戶(hù)選擇產(chǎn)品和服務(wù)的重要參考。

除了新華網(wǎng)評(píng)測(cè)報(bào)告，近期，還有IDC等多個(gè)權(quán)威機(jī)構(gòu)發(fā)布評(píng)測(cè)報(bào)告，結(jié)果均顯示由文心大模型3.5支持的文心一言綜合能力評(píng)測(cè)得分超過(guò)ChatGPT3.5。

比如IDC報(bào)告顯示，文心大模型3.5拿下12項(xiàng)核心指標(biāo)的7個(gè)滿(mǎn)分，綜合評(píng)分位列國(guó)內(nèi)主流大模型第一，并在算法模型、行業(yè)覆蓋兩大關(guān)鍵指標(biāo)上拿下唯一滿(mǎn)分。

中國(guó)傳媒大學(xué)新媒體研究院院長(zhǎng)趙子忠建議，創(chuàng)業(yè)者和開(kāi)發(fā)者以及中小企業(yè)，其實(shí)不需要從0到1的打造自己的大模型，可以基于文心大模型打造智能應(yīng)用，避免重復(fù)造輪子，把精力放在自己擅長(zhǎng)的創(chuàng)新上。誰(shuí)先做出來(lái)滿(mǎn)足用戶(hù)需求的應(yīng)用，誰(shuí)就搶占了發(fā)展先機(jī)。

百度2019年推出文心大模型1.0，今年5月份升級(jí)到3.5版本。通過(guò)飛槳深度學(xué)習(xí)平臺(tái)與文心大模型的協(xié)同優(yōu)化，文心大模型3.5實(shí)現(xiàn)了基礎(chǔ)模型升級(jí)、精調(diào)技術(shù)創(chuàng)新、知識(shí)點(diǎn)增強(qiáng)、邏輯推理增強(qiáng)、插件機(jī)制等，模型效果提升50%，訓(xùn)練速度提升2倍，推理速度提升30倍。

目前百度文心大模型已擁有中國(guó)最大的產(chǎn)業(yè)落地規(guī)模，超過(guò)15萬(wàn)家企業(yè)申請(qǐng)文心一言?xún)?nèi)測(cè)，其中有超300家生態(tài)伙伴在400多個(gè)具體場(chǎng)景取得測(cè)試成效，覆蓋辦公提效、知識(shí)管理、智能客服、智能營(yíng)銷(xiāo)等領(lǐng)域，聯(lián)合國(guó)家電網(wǎng)、浦發(fā)銀行、泰康、吉利等企業(yè)，聯(lián)合發(fā)布了 11個(gè)行業(yè)大模型。百度還設(shè)立了 10 億創(chuàng)投基金鼓勵(lì)大模型創(chuàng)意、繁榮大模型生態(tài)。

軟通動(dòng)力CTO劉會(huì)福曾表示，我們非常期待在文心大模型的基礎(chǔ)上，開(kāi)拓更多的應(yīng)用實(shí)踐。北京寶蘭德軟件董事長(zhǎng)易存道表示，如何把大模型在垂直行業(yè)做好，是目前各個(gè)企業(yè)都要考慮的問(wèn)題，多數(shù)企業(yè)無(wú)法像百度一樣有能力建設(shè)大模型。

怎么能夠把百度的大模型能力和企業(yè)業(yè)務(wù)有效結(jié)合起來(lái)，創(chuàng)造更強(qiáng)的價(jià)值，是企業(yè)非常好的彎道超車(chē)機(jī)會(huì)。金山辦公助理總裁田然表示，金山辦公要跟中國(guó)優(yōu)秀的大模型提供方站在一起。金山辦公和文心的合作，會(huì)進(jìn)一步推動(dòng)大模型在辦公領(lǐng)域的應(yīng)用和快速落地。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。