1月29日消息,百川智能發(fā)布超千億參數(shù)的大語言模型Baichuan 3。據(jù)介紹,Baichuan 3取得了系列新突破。
其中基礎能力方面,Baichuan 3在CMMLU、GAOKAO和AGI-Eval多個權(quán)威通用能力評測中都表現(xiàn)出色,尤其在中文任務上更是超越了GPT-4。在數(shù)學和代碼專項評測如MATH、HumanEval和MBPP中Baichuan 3同樣表現(xiàn)出色。
值得注意的是,百川智能對Baichuan 3在醫(yī)療領域的能力進行了針對性優(yōu)化,在對邏輯推理能力及專業(yè)性要求極高的MCMLE、MedExam、CMExam等權(quán)威醫(yī)療評測上的中文效果同樣超過了GPT-4,成為中文醫(yī)療任務表現(xiàn)最佳的大模型。
另外,Baichuan 3還突破“迭代式強化學習”技術,進一步提升了語義理解和生成能力,在詩詞創(chuàng)作的格式、韻律、表意等方面表現(xiàn)優(yōu)異,領先于其他大模型。
中文任務成績超越GPT-4
Baichuan 3在多個英文評測中表現(xiàn)出色,達到接近GPT-4的水平。而在CMMLU、GAOKAO、HumanEval和MBPP等多個中文評測榜單上,更是超越GPT-4展現(xiàn)了其在中文任務上的優(yōu)勢。
此外,在MT-Bench、IFEval等對齊榜單的評測中,Baichuan 3超越了GPT-3.5、Claude等大模型,處于行業(yè)領先水平。
據(jù)介紹,百川智能在訓練過程中針對性地提出了“動態(tài)數(shù)據(jù)選擇”、“重要度保持”以及“異步CheckPoint存儲”等多種創(chuàng)新技術手段及方案,有效提升了Baicuan 3的各項能力。訓練效率方面, Baichuan 3的訓練框架在性能方面相比業(yè)界主流框架提升超過30%。
醫(yī)療能力逼近GPT-4
在醫(yī)療領域,大模型的全能特性發(fā)揮著至關重要的作用。諸如OpenAI、谷歌等頭部大模型企業(yè)都將醫(yī)療作為模型的重點訓練方向和性能評價的重要體系。ChatGPT早在2023年2月便已通過了美國醫(yī)學執(zhí)照考試(USMLE),顯示出其在醫(yī)學領域的強大能力。而谷歌對醫(yī)療領域的重視更甚,基于PaLM模型打造了醫(yī)療大模型Med-PaLM,迭代后的Med-PaLM 2在醫(yī)學考試 MedQA中的成績超過80分,達到了專家水平。
為了給Baichuan3注入豐富的醫(yī)療知識,百川智能在模型預訓練階段構(gòu)建了超過千億Token的醫(yī)療數(shù)據(jù)集,包括醫(yī)學研究文獻、真實的電子病歷資料、醫(yī)學領域的專業(yè)書籍和知識庫資源、針對醫(yī)療問題的問答資料等。該數(shù)據(jù)集涵蓋了從理論到實際操作,從基礎理論到臨床應用等各個方面的醫(yī)學知識,確保了模型在醫(yī)療領域的專業(yè)度和知識深度。
針對醫(yī)療知識激發(fā)的問題,百川智能在推理階段針對Prompt做了系統(tǒng)性的研究和調(diào)優(yōu),通過準確的描述任務、恰當?shù)氖纠龢颖具x擇,讓模型輸出更加準確以及符合邏輯的推理步驟,Baichuan 3在醫(yī)療領域的任務效果提升顯著,在各類中英文醫(yī)療測試中的成績提升了2到14個百分點。
Baichuan 3在多個權(quán)威醫(yī)療評測任務中表現(xiàn)優(yōu)異,不僅MCMLE、MedExam、CMExam等中文醫(yī)療任務的評測成績超過GPT-4,USMLE、MedMCQA等英文醫(yī)療任務的評測成績也逼近了GPT-4的水準,是醫(yī)療能力最強的中文大模型。
創(chuàng)作精準度提升
另外,百川智能還強調(diào),Baichuan 3突破“迭代式強化學習”技術,進一步提升了語義理解和生成能力,在詩詞創(chuàng)作的格式、韻律、表意等方面表現(xiàn)更優(yōu)了。
語義理解和文本生成是大模型最基礎的底層能力,為提升這兩項能力,業(yè)界進行了大量探索和實踐,OpenAI、Google以及Anthropic等引入的RLHF(基于人類反饋的強化學習)和RLAIF(基于AI反饋的強化學習)便是其中的關鍵技術。
百川智能采用了RLHF與RLAIF結(jié)合的方式來生成高質(zhì)量優(yōu)質(zhì)偏序數(shù)據(jù),在數(shù)據(jù)質(zhì)量和數(shù)據(jù)成本之間獲得了更好的平衡。在此基礎上,對于“探索與利用”這一根本挑戰(zhàn),百川智能通過PPO探索空間與Reward Model評價空間的同步升級,實現(xiàn)“迭代式強化學習”(iterative RLHF&RLAIF),讓Baichuan 3的語義理解和生成創(chuàng)作能力大幅提升。
百川智能強大,Baichuan 3結(jié)合“RLHF&RLAIF”以及迭代式強化學習的方法,讓大模型的詩詞創(chuàng)作能力達到全新高度??捎眯韵啾犬斍皹I(yè)界最好的模型水平提升達500%,文采遠超GPT-4。以下為Baichuan 3所寫的兩首詩詞,可以看看:
- 蜜度索驥:以跨模態(tài)檢索技術助力“企宣”向上生長
- 百川智能發(fā)布全鏈路領域增強金融大模型Baichuan4-Finance,整體準確率領先GPT-4o近20%
- 央視曝光未成年人可輕松繞開“防沉迷”系統(tǒng):租號玩游戲最低僅需4元
- 知乎發(fā)布2024“年度十問”:《黑神話:悟空》、諾貝爾物理學獎等問題在列
- 李斌回應螢火蟲三重奏大燈設計:沒有參考iPhone
- 一周熱點匯總:特斯拉下月量產(chǎn)改款Model Y,阿里“甩賣”銀泰
- 蔚來第三品牌firefly螢火蟲首款車型正式亮相 預售價14.88萬元
- 首發(fā)線控轉(zhuǎn)向等多項技術 蔚來旗艦車型ET9正式上市:78.8萬元起
- 網(wǎng)信辦:從嚴打擊網(wǎng)上侵害未成年人合法權(quán)益行為
- 豆包大模型全面升級,相關概念股瘋漲,字節(jié)發(fā)布緊急警示
- “小紅書封號”沖上熱搜,小米YU7無偽裝實車首次曝光
免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內(nèi)容或斷開相關鏈接。