夕小瑤科技說 分享
Lucy，是距今320萬年最早的人類祖先，也是被輸入某種“物質(zhì)”后大腦開發(fā)到100%的超智能人類，能感知宇宙萬物，擁有人類所有知識。如果大模型是Lucy，那么LucyEval即是助力其更智能的奇妙”物質(zhì)“。
隨著大語言模型不斷調(diào)優(yōu)，大模型擁有了更優(yōu)越的理解人類話語、指令并且生成類似人類語言文本的能力。機器和人類終歸不同，如何最快速地判斷機器是否能正確理解人類的知識和語言，成為我們共同關(guān)注的問題。
由此，甲骨易AI研究院推出了中文大語言模型成熟度評測——LucyEval，能夠通過對模型各方面能力的客觀測試，找到模型的不足，幫助設(shè)計者和工程師更加精準(zhǔn)地調(diào)整、訓(xùn)練模型，助力大模型不斷邁向更智能的未來。
Lucy的每一個字母背后都代表了不同的意義，包含著甲骨易AI研究院設(shè)計LucyEval時所考量的維度和堅持的理念。
L - Linguistic Fundamentals: 基礎(chǔ)理解能力
U - Utilization of Knowledge: 知識運用能力
C - Cognitive Reasoning: 推理能力
Y - Yield of Specialized Outputs: 特殊生成能力
"Lucy" 包含以下含義：
Linguistic Fundamentals (基礎(chǔ)理解能力) ：描述模型對基礎(chǔ)語法、詞匯和句子結(jié)構(gòu)的理解程度
Utilization of Knowledge (知識運用能力)：衡量模型在回答問題或生成文本時如何運用其內(nèi)嵌的知識。
Cognitive Reasoning (推理能力)：評價模型是否能從給定的信息中進行邏輯推斷或解決復(fù)雜問題。
Yield of Specialized Outputs (特殊生成能力）：測試模型在生成特定類型或風(fēng)格的文本（例如詩歌、代碼或?qū)I(yè)文章）時的效能。
目前，LucyEval已發(fā)布如下兩項測試集。
大規(guī)模多任務(wù)中文理解能力測試 Massive Multitask Chinese Understanding
2023年4月25日，針對中文大模型理解能力測試缺失且推出高質(zhì)量中文評測數(shù)據(jù)集迫在眉睫這一現(xiàn)狀，甲骨易AI研究院率先發(fā)布（首發(fā)）了一套大規(guī)模多任務(wù)中文大模型理解能力測試。
測試所包含的題目來自醫(yī)療、法律、心理學(xué)和教育四個科目的11900個問題，包含單項選擇和多項選擇題，目的旨在使測試過程中模型更接近人類考試的方式，覆蓋學(xué)科面廣，專業(yè)知識難度高，適合用來評估大模型的綜合理解能力。
論文鏈接：
https://arxiv.org/abs/2304.12986
中文大模型多學(xué)科生成能力自動化評測基準(zhǔn) Chinese Generation Evaluation
目前領(lǐng)域內(nèi)的評測大多都只針對模型的中文理解能力，通過選擇題由模型直接生成答案，或者提取模型對各個答案選項的輸出概率。從評測大模型的生成能力的角度，這些評測基準(zhǔn)就存在很大的局限性。
在率先發(fā)布國內(nèi)首個中文大模型理解能力測試后，甲骨易AI研究院于8月9日正式發(fā)布一套自動測評中文大模型多學(xué)科生成能力的評測基準(zhǔn)。
基準(zhǔn)包含11000道題目，涵蓋科技工程、人文與社會科學(xué)、數(shù)學(xué)計算、醫(yī)師資格考試、司法考試、注冊會計師考試等科目下的55個子科目。題型分為名詞解釋、簡答題和計算題三種類型。同時，甲骨易AI研究院還設(shè)計了一套復(fù)合打分方式Gscore，使評分過程更加合理、科學(xué)。
甲骨易AI研究院使用本評測基準(zhǔn)對以下模型進行了zero-shot測試，包括GPT-4、ChatGLM-Std、訊飛星火Spark Desk、文心一言ERNIE Bot等。
本次受測中文大語言模型
從所有模型在六大類科目的平均分來看，GPT-4取得最高分41.12，比最低分32.28高出8.84分。
本次受測中文大語言模型平均得分
受測模型在其他學(xué)科的表現(xiàn)詳見評測地址：
http://lucyeval.besteasy.com/
未來，甲骨易AI研究院將矢志不移地為提升中文大語言模型能力為目標(biāo)，持續(xù)研究適應(yīng)其發(fā)展的測試集，期待與同樣關(guān)注大語言模型發(fā)展的業(yè)界同仁攜手共建。
論文鏈接：
https://arxiv.org/abs/2308.04823
更多AI相關(guān)資訊，請關(guān)注微信公眾號：甲骨易
- 蜜度索驥：以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- “2024年度（第十七屆）華強電子網(wǎng)優(yōu)質(zhì)供應(yīng)商&電子元器件行業(yè)優(yōu)秀國產(chǎn)品牌評選”進入公眾投票階段
- 意大利威尼斯AI國際電影節(jié)中國首展圓滿收官
- 一年一度的消防行業(yè)大會-2025第4屆杭州應(yīng)急消防展招商工作全球啟動！
- 辦人民滿意教育，我們在努力@2025第85屆中國教育裝備展示會
- 第20屆中國音視頻產(chǎn)業(yè)大會（AVF）在京盛大召開
- Automechanika Shanghai 20周年盛會圓滿收官： 參展商及觀眾人數(shù)再創(chuàng)新高，彰顯行業(yè)強勁增長態(tài)勢、 創(chuàng)新成果及全球合作新篇章
- IFA 2025新聞發(fā)布會在深圳成功舉行，與中國企業(yè)再鑄輝煌
- 美通社舉辦2024媒體趨勢沙龍 交流媒體傳播新業(yè)態(tài)
- 歡迎報名丨“太湖之芯”湖州半導(dǎo)體及光電產(chǎn)業(yè)上海對接活動即將舉行
- 相約—武漢電子展︱賦能中西部電子信息產(chǎn)業(yè)發(fā)展——2025 武漢國際半導(dǎo)體產(chǎn)業(yè)與電子技術(shù)博覽會將于5月15日盛大召開
免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。
