一年一度的高考再次登上熱搜,去年高考,ChatGPT以及國(guó)產(chǎn)大模型首發(fā)團(tuán)隊(duì)文心一言、訊飛星火、阿里通義千問(wèn)等掀起大模型寫(xiě)作文的大混戰(zhàn),有的號(hào)稱滿分,有的被批零分,有的文采有余情感不足……經(jīng)過(guò)一年的時(shí)間這些大模型能力是否有大幅提升?恰好今年的高考題目就與人工智能有關(guān),我們來(lái)看看誰(shuí)家“孩子”能拿下高分?我們?cè)u(píng)測(cè)了國(guó)內(nèi)知名的五家大模型產(chǎn)品:百度文心一言、科大訊飛星火、Kimi、騰訊元寶、阿里通義千問(wèn)。先說(shuō)結(jié)論:訊飛星火,完勝。Kimi只是給了一個(gè)稿件提綱,其他則陷入了題干中關(guān)于“問(wèn)題”的陷阱中。新課標(biāo)Ⅰ卷作文題目:隨著互聯(lián)網(wǎng)的普及、人工智能的應(yīng)用,越來(lái)越多的問(wèn)題能很快得到答案。那么,我們的問(wèn)題是否會(huì)越來(lái)越少?以上材料引發(fā)了你怎樣的聯(lián)想和思考?請(qǐng)寫(xiě)一篇文章。要求:選準(zhǔn)角度,確定立意,明確文體,自擬標(biāo)題;不要套作,不得抄襲;不得泄露個(gè)人信息;不少于800字。訊飛星火
文心一言
騰訊元寶
KIMI
通義千問(wèn)
我們?cè)倏匆槐檫@道作文題:隨著互聯(lián)網(wǎng)的普及、人工智能的應(yīng)用,越來(lái)越多的問(wèn)題能很快得到答案。那么,我們的問(wèn)題是否會(huì)越來(lái)越少?以上材料引發(fā)了你怎樣的聯(lián)想和思考?請(qǐng)寫(xiě)一篇文章。這道題的題眼是“問(wèn)題”二字,閱讀材料里“問(wèn)題”出現(xiàn)了兩次,這兩個(gè)“問(wèn)題”其實(shí)是不同的內(nèi)涵,根據(jù)新華詞典的解釋,第一個(gè)“問(wèn)題”對(duì)應(yīng)著“答案”,是“要求回答或解釋的題目”的意思,而第二個(gè)“問(wèn)題”是“需要研究并加以解決的矛盾、疑難”的意思,可以說(shuō)第一個(gè)“問(wèn)題”是狹義的,第二個(gè)“問(wèn)題”是廣義的,類似英文中question和problem的不同。文心一言、騰訊元寶、通義千問(wèn)、Kimi都掉進(jìn)了第一個(gè)“問(wèn)題”的陷阱,一直在重復(fù)關(guān)于好奇、求知、解答、知識(shí)這些淺層話題,而訊飛星火明顯分辨出了兩個(gè)“問(wèn)題”的不同含義,在文章中段就將討論范圍從狹義的需要個(gè)體解答的“小問(wèn)題”延伸到了廣義的人類社會(huì)共同面對(duì)的“大問(wèn)題”。這體現(xiàn)的不是簡(jiǎn)單的“考試狀態(tài)”,其背后充分體現(xiàn)了星火大模型在語(yǔ)言理解這一大模型核心能力上的領(lǐng)先。為了能更好打分,我們按照全國(guó)高考作文評(píng)分標(biāo)準(zhǔn)對(duì)幾篇文章做詳細(xì)分析文心一言:
基礎(chǔ)等級(jí)方面,文章始終沒(méi)有對(duì)互聯(lián)網(wǎng)和人工智能對(duì)解決問(wèn)題和產(chǎn)生問(wèn)題的核心做出解讀,明顯偏離題意。結(jié)構(gòu)方面,盡管有“首先……其次……再者……綜上所述”這樣看似嚴(yán)謹(jǐn)?shù)慕Y(jié)構(gòu)支撐,但段落和段落之間,段落和結(jié)論之間,關(guān)系并不緊密。發(fā)展等級(jí)方面,文心一言分別引用了愛(ài)因斯坦、牛頓的名言和一句古詩(shī),一如既往的“掉書(shū)袋”看似有創(chuàng)意、有文采,但仔細(xì)看來(lái),其內(nèi)在邏輯其實(shí)比較混亂,比如這一段:
牛頓的話是關(guān)于科學(xué)傳承,對(duì)這名言的引用顯然有“驢唇不對(duì)馬嘴”的感覺(jué)??傮w打分:35分科大訊飛基礎(chǔ)等級(jí)方面,開(kāi)篇點(diǎn)題,中段在“個(gè)體體驗(yàn)、信息爆炸、人工智能道德倫理”三個(gè)方面分析問(wèn)題,結(jié)尾回歸“人類的智慧、勇氣和決心”升華價(jià)值,內(nèi)容和表達(dá)無(wú)懈可擊。發(fā)展等級(jí)方面,深刻與豐富做得很好,文采和創(chuàng)意有所欠缺,星火是唯一一個(gè)通篇沒(méi)有引用名人名言的“考生”,像是個(gè)嚴(yán)謹(jǐn)?shù)睦砜粕???傮w打分:55分騰訊元寶對(duì)題目的理解更加狹隘,感覺(jué)通篇一直在重復(fù)一種觀點(diǎn)“問(wèn)題是個(gè)好東西”,這是大模型語(yǔ)言理解能力欠佳的表現(xiàn)。每一句話都自然流暢,名言引用也比較恰當(dāng),但所有句子湊在一起產(chǎn)生了一種“廢話連篇”的感覺(jué),這是大模型文本生成能力欠佳的表現(xiàn)。畢竟騰訊元寶在5月底剛剛發(fā)布,也許不能要求太高??傮w打分:32Kimi作為以長(zhǎng)文本著稱的大模型,高考作文理應(yīng)是Kimi大顯身手的機(jī)會(huì),但結(jié)果卻令筆者有些意外,Kimi輸出的文章在內(nèi)容上并無(wú)特別之處,最大的區(qū)別是它給每一段加上了小標(biāo)題,沒(méi)展示出長(zhǎng)文本理解和生成的核心能力,卻有類似“標(biāo)題黨”的小伎倆?不得不感慨:“Kimi真是個(gè)小機(jī)靈鬼?!笨傮w打分:42通義千問(wèn)去年的高考作文AI寫(xiě)作中,通義千問(wèn)飽受詬病,被批“空洞沒(méi)營(yíng)養(yǎng)”,今年的通義千問(wèn)有明顯進(jìn)步。通義千問(wèn)的優(yōu)點(diǎn)跟訊飛星火一樣,具備語(yǔ)言理解和文本表達(dá)的廣度和深度,缺點(diǎn)跟文心一樣,錯(cuò)誤引用名人名言刻意展示文采,可謂集眾家所長(zhǎng),及所短??傮w打分:49Chatgpt 問(wèn)世以來(lái),“寫(xiě)文章”成為人工智能大模型產(chǎn)品展示能力的普遍手段,高考作文有著嚴(yán)格明確的要求,以及相對(duì)嚴(yán)謹(jǐn)科學(xué)的評(píng)分標(biāo)準(zhǔn),無(wú)疑是最佳的試金石。通過(guò)本次評(píng)測(cè)明顯看出,訊飛星火大模型在語(yǔ)言理解和文本表達(dá)上的表現(xiàn)更勝一籌,拿高分實(shí)至名歸,你們覺(jué)得呢?當(dāng)然各位也可以打開(kāi)手機(jī)或者電腦試試看,如高考作文題目所言,隨著互聯(lián)網(wǎng)的普及、人工智能的應(yīng)用,這個(gè)問(wèn)題能很快得到答案。
免責(zé)聲明:此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章,所有文字和圖片版權(quán)歸作者所有,且僅代表作者個(gè)人觀點(diǎn),與極客網(wǎng)無(wú)關(guān)。文章僅供讀者參考,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱:editor@fromgeek.com。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長(zhǎng)
- 一半是產(chǎn)品,一半是服務(wù),華為品牌帶給消費(fèi)者的有贊嘆更有溫暖
- 在人群里,看見(jiàn)「鯤鵬開(kāi)發(fā)者」
- 游戲體驗(yàn)天花板,一加 Ace 5 系列售價(jià) 2299 元起
- 為創(chuàng)意和管理提效,新廣告投放(3.0)驅(qū)動(dòng)消費(fèi)品商家高效增長(zhǎng)
- 榮耀Magic7系列全面升級(jí)大王影像,首發(fā)AI超級(jí)長(zhǎng)焦拍遠(yuǎn)更清晰
- 2024過(guò)去了,留下十個(gè)科技記憶
- 年貨節(jié)如何大爆單?別錯(cuò)過(guò)巨量千川這三波紅利
- 美國(guó)無(wú)人機(jī)禁令升級(jí)?當(dāng)?shù)乜茖W(xué)家率先“喊疼”:我們離不開(kāi)大疆
- iQOO Neo10 Pro:性能特長(zhǎng)之外,亦有全能實(shí)力
- 自動(dòng)駕駛第一股的轉(zhuǎn)型迷途:圖森未來(lái)賭上了AIGC
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。