10月30日消息,百川智能發(fā)布Baichuan2-192K大模型。其上下文窗口長度高達192K,是目前全球最長的上下文窗口。
Baichuan2-192K能夠處理約35萬個漢字,是目前支持長上下文窗口最優(yōu)秀大模型Claude2(支持100K上下文窗口,實測約8萬字)的 4.4倍,更是 GPT-4(支持32K上下文窗口,實測約 2.5萬字)的14倍。Baichuan2-192K不僅在上下文窗口長度上超越Claude2,在長窗口文本生成質量、長上下文理解以及長文本問答、摘要等方面的表現(xiàn)也全面領先Claude2。
今年9月25日,百川智能已開放了Baichuan2的API接口,正式進軍企業(yè)級市場,開啟商業(yè)化進程。此次Baichuan2-192K將以API調(diào)用和私有化部署的方式提供給企業(yè)用戶,目前百川智能已經(jīng)啟動Baichuan2-192K的API內(nèi)測,開放給法律、媒體、金融等行業(yè)的核心合作伙伴。
10項長文本評測7項取得SOTA,全面領先Claude2
上下文窗口長度是大模型的核心技術之一,通過更大的上下文窗口,模型能夠結合更多上下文內(nèi)容獲得更豐富的語義信息,更好的捕捉上下文的相關性、消除歧義,進而更加準確、流暢的生成內(nèi)容,提升模型能力。
Baichuan2-192K在Dureader、NarrativeQA、LSHT、TriviaQA等10項中英文長文本問答、摘要的評測集上表現(xiàn)優(yōu)異,有7項取得SOTA,顯著超過其他長窗口模型。
此外,LongEval的評測結果顯示,在窗口長度超過100K后Baichuan2-192K依然能夠保持非常強勁的性能,而其他開源或者商用模型在窗口增長后效果都出現(xiàn)了近乎直線下降的情況。Claude2也不例外,在窗口長度超過80K后整體效果下降非常嚴重。由此可見,Baichuan2-192K的長窗口內(nèi)容記憶和理解能力大幅領先其他模型。
(LongEval是加州大學伯克利分校聯(lián)合其他高校發(fā)布的針對長窗口模型的評測榜單,主要用來衡量模型對長窗口內(nèi)容的記憶和理解能力,是業(yè)內(nèi)公認的長上下文窗口理解權威評測榜單)
動態(tài)采樣的位置編碼優(yōu)化,4D并行的分布式方案,同步提升窗口長度和模型性能
擴大上下文窗口能有效提升大模型性能是人工智能行業(yè)的共識,但是超長上下文窗口意味著更高的算力需求和更大的顯存壓力。目前,業(yè)內(nèi)有很多提升上下文窗口長度的方式,包括滑動窗口、降采樣、小模型等。這些方式雖然能提升上下文窗口長度,但對模型性能均有不同程度的損害,換言之都是通過犧牲模型其他方面的性能來換取更長的上下文窗口。
而本次百川發(fā)布的Baichuan2-192K通過算法和工程的極致優(yōu)化,實現(xiàn)了窗口長度和模型性能之間的平衡,做到了窗口長度和模型性能的同步提升。
算法方面,百川智能提出了一種針對RoPE和ALiBi動態(tài)位置編碼的外推方案,該方案能夠對不同長度的ALiBi位置編碼進行不同程度的Attention-mask動態(tài)內(nèi)插,在保證分辨率的同時增強了模型對長序列依賴的建模能力。在長文本困惑度標準評測數(shù)據(jù) PG-19上,當窗口長度擴大,Baichuan2-192K的序列建模能力持續(xù)增強。
(PG-19是DeepMind發(fā)布的語言建?;鶞蕯?shù)據(jù)集,是業(yè)內(nèi)公認的衡量模型長程記憶推理問題的評測標準)
工程方面,在自主開發(fā)的分布式訓練框架基礎上,百川智能整合目前市場上所有先進的優(yōu)化技術,包括張量并行、流水并行、序列并行、重計算以及Offload功能等,獨創(chuàng)了一套全面的4D并行分布式方案。該方案能夠根據(jù)模型具體的負載情況,自動尋找最適合的分布式策略,極大降低了長窗口訓練和推理過程中的顯存占用。
百川智能在算法和工程上針對長上下文窗口的創(chuàng)新,不僅是大模型技術層面的突破,對于學術領域同樣有著重要意義。Baichuan2-192K驗證了長上下文窗口的可行性,為大模型性能提升開拓出了新的科研路徑。
Baichuan2-192K正式開啟內(nèi)測,已落地法律、媒體等諸多真實場景
Baichuan2-192K現(xiàn)已正式開啟內(nèi)測,以API調(diào)用的方式開放給百川智能的核心合作伙伴,已經(jīng)與財經(jīng)類媒體及律師事務所等機構達成了合作,將Baichuan2-192K全球領先的長上下文能力應用到了傳媒、金融、法律等具體場景當中,不久后將全面開放。
全面開放API之后,Baichuan2-192K便能夠與更多的垂直場景深度結合,真正在人們的工作、生活、學習中發(fā)揮作用,助力行業(yè)用戶更好的降本增效。Baichuan2-192K 能夠一次性處理和分析數(shù)百頁的材料,對于長篇文檔關鍵信息提取與分析,長文檔摘要、長文檔審核、長篇文章或報告編寫、復雜編程輔助等真實場景都有巨大的助力作用。
它可以幫助基金經(jīng)理總結和解釋財務報表,分析公司的風險和機遇;幫助律師識別多個法律文件中的風險,審核合同和法律文件;幫助技術人員閱讀數(shù)百頁的開發(fā)文檔,并回答技術問題;還能幫助科員人員快速瀏覽大量論文,總結最新的前沿進展。
不僅如此,更長的上下文還為其更好的處理和理解復雜的多模態(tài)輸入,以及實現(xiàn)更好的遷移學習提供了底層支撐,這將為行業(yè)探索Agent、多模態(tài)應用等前沿領域打下良好技術基礎。
- 蜜度索驥:以跨模態(tài)檢索技術助力“企宣”向上生長
- 百川智能發(fā)布全鏈路領域增強金融大模型Baichuan4-Finance,整體準確率領先GPT-4o近20%
- 央視曝光未成年人可輕松繞開“防沉迷”系統(tǒng):租號玩游戲最低僅需4元
- 知乎發(fā)布2024“年度十問”:《黑神話:悟空》、諾貝爾物理學獎等問題在列
- 李斌回應螢火蟲三重奏大燈設計:沒有參考iPhone
- 一周熱點匯總:特斯拉下月量產(chǎn)改款Model Y,阿里“甩賣”銀泰
- 蔚來第三品牌firefly螢火蟲首款車型正式亮相 預售價14.88萬元
- 首發(fā)線控轉向等多項技術 蔚來旗艦車型ET9正式上市:78.8萬元起
- 網(wǎng)信辦:從嚴打擊網(wǎng)上侵害未成年人合法權益行為
- 豆包大模型全面升級,相關概念股瘋漲,字節(jié)發(fā)布緊急警示
- “小紅書封號”沖上熱搜,小米YU7無偽裝實車首次曝光
免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內(nèi)容或斷開相關鏈接。