“從5月6日發(fā)布到今天，剛好是我們認(rèn)知大模型100天的‘百日會戰(zhàn)’。”在8月15日的科大訊飛星火認(rèn)知大模型V2.0發(fā)布會上，訊飛董事長劉慶峰說道。而在星火V2.0發(fā)布后，全世界的目光再次聚焦到新一輪的大模型競技潮來。

近日，《麻省理工科技評論》中國對訊飛星火、百度文心一言、商湯商量和阿里通義千問四款主流中國大模型進(jìn)行了深度評測，結(jié)果顯示訊飛星火以總分第一的成績榮登榜首。

△四款大模型一級分類測試結(jié)果(部分)

《麻省理工科技評論》是享譽(yù)世界的麻省理工學(xué)院全資擁有的媒體平臺，在業(yè)界擁有很強(qiáng)的權(quán)威性，也被視為學(xué)術(shù)界的泰山北斗。此次它采用百分制計(jì)量，可參照60%得分率作為“及格線”，除兩款參測大模型剛過“及格線”外，百度文心一言獲得75.2%得分率，而訊飛星火斬獲81.5%最高分，四款大模型的平均得分率為72.6%?？梢姡嶏w星火一己之力“拉高”的中國大模型的平均水平。

根據(jù)《麻省理工科技評論》設(shè)計(jì)的600道題目，本次橫評重點(diǎn)考察大模型語言、數(shù)學(xué)、理科、文科、邏輯、編程、綜合知識和安全性共計(jì)8大類能力(一級分類)，并涵蓋126個二級分類和290個三級標(biāo)簽。通過擬人考試般的單選、多選、填空、簡答四種題型，旨在評出“最聰明”的中國大模型。

作為中文語言大模型，《麻省理工科技評論》將語文專項(xiàng)測試放在了首測，題目是生成一份不同高校畢業(yè)大學(xué)生首份工作內(nèi)容和薪資的調(diào)研問卷。結(jié)果商湯商量和通義千問都采取了“堆砌式”回答，只有訊飛星火與文心一言給出了思路清晰，條理順暢的問卷結(jié)構(gòu)，雙方僅以0.63%得分率不分伯仲。

在隨后的數(shù)學(xué)與邏輯思維等測試項(xiàng)中，訊飛星火開啟了“狂飆模式”。《麻省理工科技評論》先采用了一道“求解不等式”的數(shù)學(xué)題，唯有訊飛給出了解題邏輯和正確答案，并以77.54%得分率遠(yuǎn)高于56%的平均值，大幅高出21.75%。而在邏輯思維測試中，訊飛完美地解答了“池塘與水壺”的彎彎繞題目，展現(xiàn)了其在空間方位、演繹推理、邏輯謬誤檢測等方面的優(yōu)勢，并以81.2%得分率高出72.6%的平均值。

當(dāng)測試來到了代碼編程能力階段，真正的好戲才剛剛開始。在8月15日，訊飛才對星火V2.0的代碼能力進(jìn)行了突破性提升，只因代碼能力是支撐認(rèn)知大模型“智慧涌現(xiàn)”的關(guān)鍵維度，代碼能力與“聰明度”直接相關(guān)?！堵槭±砉た萍荚u論》出具的題型是——用Python生成以下代碼:def assertBbs(num : int, pow:int):"""實(shí)現(xiàn)一個函數(shù)，快速冪計(jì)算"""。這對于不懂計(jì)算機(jī)編程的人來說，無異于有字天書，但對于四款大模型來說，它們的答案卻各有不同。

直接看結(jié)果吧，訊飛星火不僅生成了正確代碼，還給出了“這個函數(shù)需要實(shí)現(xiàn)快速冪計(jì)算，即計(jì)算x的y次方”的詳細(xì)解析。最終訊飛星火以80%得分率明顯高于71%的平均值，《麻省理工科技評論》用“表現(xiàn)頗為亮眼”來形容訊飛的代碼能力。此外星火在綜合知識測試中也以80.61%的得分率遠(yuǎn)高于71.6%平均率，這并不令人意外，因?yàn)榫C合知識測試涵蓋了以上多項(xiàng)能力，在單項(xiàng)中只要獲得領(lǐng)先，在綜合測試中也不會有太大懸念。

△四款大模型綜合得分率

最終《麻省理工科技評論》一錘定音，訊飛星火以81.5分的成績在本次橫評拔得頭籌，成為“最聰明”的中國大模型，在綜合實(shí)力上位列第一梯隊(duì)。2023年，隨著中國人工智能研究在世界版圖中占據(jù)愈發(fā)重要的地位，中國大模型的集體繁榮昭示著AI大航海時代的來臨，以訊飛星火為代表的中國大模型佼佼者，正深入產(chǎn)業(yè)鏈上下游共創(chuàng)共建，已成為大模型時代照亮前路的“燈塔”。

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）