撰文 | 程書書

編輯 | 李信馬

題圖 | 百? ?度

前幾天，百度世界大會上，文心大模型4.0發(fā)布。而李彥宏宣稱，新版本的文心大模型“綜合水平與 GPT-4 相比已經(jīng)毫不遜色”，更是一石激起千層浪。

自此之后，在各家的評測中，文心大模型4.0已經(jīng)與GPT-4的巔峰對決了N個回合，可以說難解難分。不過，GPT-4雖然是目前世界公認(rèn)的一流水平，但收費(fèi)價格不低，對國內(nèi)用戶來說使用也不方便，文心一言卻已經(jīng)面向全社會免費(fèi)開放。

走路要一步一個腳印，今天就不整它倆的比拼了，而是測一測文心大模型4.0與目前仍免費(fèi)的GPT-3.5的差別，看一看現(xiàn)在的文心大模型，是否明顯優(yōu)于后者，如果是的話，那對絕大多數(shù)用戶來說，選哪個就清楚了。

先說測評維度，這一次的大模型評測，按照業(yè)界普遍使用的語言理解、推理、生成、記憶這四個維度。俗話說因地制宜，安排的題目中，還包括今年國家公務(wù)員考試《行測》的真題，真實展現(xiàn)大模型在中文領(lǐng)域的實際水平。

一、理解能力

第一題，據(jù)說在中文考試中繞暈外國人的語言理解題目——說曹操到曹操就到了。

小明跟小亮說小剛昨天參加了百米賽跑，這個時候小剛正好經(jīng)過，小亮就說：“說曹操到，曹操就到?！?分析一下，究竟是誰到了？

文心大模型4.0的回答如下：

GPT-3.5的回答如下：

可以看到，文心大模型4.0對于中文諺語理解非常到位，而再看GPT-3.5的回答，只能說一塌糊涂。這一題，文心大模型4.0明顯勝出。

剛剛的問題可能有點太欺負(fù)外國大模型了，緊接著，又從今年的國家公務(wù)員考試《行測》中扒來一道語言理解與表達(dá)試題。

每個企業(yè)都有自己的核心價值觀，它是企業(yè)一切理念、制度和技術(shù)的價值基礎(chǔ)。企業(yè)在重視財務(wù)、營銷、技術(shù)的同時，更應(yīng)重視員工。員工是企業(yè)的主人，是企業(yè)的根本，只有建立起以“重視員工”為核心價值觀的企業(yè)文化，企業(yè)才能凝聚員工、創(chuàng)造個性，為自身的發(fā)展提供目標(biāo)、方向和定力。 這段文字意在說明什么？（國家公務(wù)員考試《行測》語言理解與表達(dá)試題）

文心大模型4.0的回答如下：

GPT-3.5的回答如下：

這一題的結(jié)果，應(yīng)該說是雙方勢均力敵，文心大模型4.0言簡意賅說出重點，GPT-3.5則條理清楚分析出結(jié)論。

二、邏輯推理能力

在這一維度，同樣在《行測》找來兩道真題，第一道是數(shù)學(xué)推斷計算題。

甲、乙等16人參加乒乓球淘汰賽。每輪對所有未被淘汰選手進(jìn)行抽簽分組兩兩比賽，勝者進(jìn)入下一輪。已知除了甲以外，其余任意兩人比賽時雙方勝率均為50%。甲對乙的勝率為0%，對其他14人的勝率均為100%。則甲奪冠的概率是多少？（國家公務(wù)員考試《行測》數(shù)量關(guān)系試題）

文心大模型4.0的回答如下：

GPT-3.5的回答如下：

不愧是國考題，文心大模型4.0和GPT-3.5都被整懵了，兩個答案全部錯誤。正確的答案是11/15，文心大模型明顯是沒理解題目的意思，想的過于復(fù)雜。GPT-3.5給出來的答案則讓人哭笑不得，思路直接就是錯的，又想的太過于簡單了，很難說哪個更強(qiáng)一點。

第2題就更加高端了，是看圖分析規(guī)律推理出答案，不過由于GPT-3.5不能查看圖片，這一題就只有文心大模型來作答了。

讓沒有想到的是，文心大模型4.0不僅可以識別圖片問題，還能準(zhǔn)確的根據(jù)規(guī)律得出正確結(jié)果，可以說是碾壓性勝利。

三、生成能力

在這個維度，設(shè)置了根據(jù)描述生成文案、圖畫以及視頻三個測試題。第一題，請根據(jù)“吵架”生成一段文案，文心大模型4.0的回答如下：

GPT-3.5的回答如下：

兩者算是打了個平手，都是對于“吵架”這一負(fù)情緒詞進(jìn)行正向引導(dǎo)。接下來的兩題，由于GPT-3.5無法生成圖片和視頻，可以說文心大模型不戰(zhàn)而勝了，來看下結(jié)果吧。

請根據(jù)“為有暗香來”生成一幅畫，文心大模型4.0的回答如下：

文心大模型4.0直接根據(jù)題意給出了四幅不同風(fēng)格的畫作，可以說，在圖像生成上確實進(jìn)步不少。

根據(jù)“雙十一”生成一段視頻，文心大模型4.0的回答如下：

不知道為何，文心大模型4.0也沒能直接呈現(xiàn)出一段視頻，只是根據(jù)指示詞給出了一個視頻腳本來，可能還有待進(jìn)步吧。

四、記憶能力

最后一個維度就是十分重要的記憶能力。要求以“我喝了一口核污水”為開頭寫一篇小說。

文心大模型4.0的回答如下：

GPT-3.5的回答如下：

可以看到，在故事創(chuàng)造上，文心大模型4.0更偏重于結(jié)構(gòu)框架，而GPT-3.5則偏重于故事內(nèi)容。這讓有一個大膽的設(shè)想，用文心大模型4.0寫框架，用GPT-3.5填寫內(nèi)容，是不是就能得到一部完整的小說？

言歸正傳，繼續(xù)提出增加人物背景、增加故事人物角色、增加冒險情節(jié)、豐富故事內(nèi)容、增加具體情節(jié)等指令來。

文心大模型4.0的回答如下：

GPT-3.5的回答如下：

多輪問答后，文心大模型4.0和GPT-3.5都能根據(jù)給出指令適當(dāng)增加內(nèi)容，同時呼應(yīng)之前給出的內(nèi)容，但也會有一些細(xì)節(jié)遺忘，整體來看表現(xiàn)都不錯。

結(jié)語：

根據(jù)測評結(jié)果來看，文心大模型4.0整體水平優(yōu)于GPT-3.5，尤其在理解和生成兩方面，表現(xiàn)令人驚喜。

大模型目前處于高速發(fā)展階段，性能和應(yīng)用效果都在不斷提升，也曾一度引發(fā)了國內(nèi)對于是否會在大模型領(lǐng)域落伍的擔(dān)憂，不過從剛剛的對比結(jié)果來看，像百度文心這樣的國產(chǎn)大模型同樣表現(xiàn)優(yōu)秀，即使會有差距，也是可以追趕，甚至是在短時間內(nèi)追趕上的，大家不必杞人憂天。

相信未來，我們也將看到能力更強(qiáng)的國產(chǎn)大模型，在各行各業(yè)落地生根，便利我們的生活。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。