6月14日消息,近日智源研究院在北京智源大會上重磅發(fā)布了全面開源的“悟道3.0”系列大模型,包括“悟道·天鷹”(Aquila)語言大模型等領(lǐng)先成果。目前,摩爾線程已率先完成對“悟道·天鷹”(Aquila)大模型的推理兼容適配,整個適配過程僅花費(fèi)不到6小時時間,便實現(xiàn)與摩爾線程自研MUSAChat應(yīng)用的無縫集成。此前,摩爾線程曾在ChatGLM發(fā)布后24小時內(nèi)實現(xiàn)適配,并在數(shù)小時內(nèi)適配LLaMA模型,摩爾線程CUDA兼容的技術(shù)能力一再被驗證。
這充分得益于摩爾線程強(qiáng)大的代碼移植工具"MUSIFY"。該工具可快速將現(xiàn)有的CUDA程序遷移至摩爾線程MUSA,零成本完成CUDA代碼自動移植,之后用戶短時間內(nèi)即可完成熱點分析和針對性優(yōu)化,大大縮短遷移優(yōu)化的周期,從而使得大模型適配形成了標(biāo)準(zhǔn)“流水線作業(yè)”,讓開發(fā)者可以省時、省力、省事、省心。
目前,基于摩爾線程打造的AI與云計算平臺,已經(jīng)可以運(yùn)行ChatGLM、Stable Diffusion、LLaMA、“悟道3.0”等開源大模型,以及摩爾線程自研的MUSAChat和MUSABert等模型的部分訓(xùn)練和推理應(yīng)用。借助摩爾線程元計算統(tǒng)一系統(tǒng)架構(gòu)MUSA,用戶可以復(fù)用PyTorch開源社區(qū)的大量模型算子,降低開發(fā)成本。與此同時,摩爾線程開源的MT Pytorch可以支持多種模型的推理,覆蓋CV、NLP、語音等多個領(lǐng)域,能夠運(yùn)行典型的大模型分布式多卡推理,也可以支持單機(jī)多卡與多機(jī)多卡的分布式訓(xùn)練。利用數(shù)據(jù)并行、模型并行以及ZERO等分布式訓(xùn)練技術(shù),MT PyTorch還可以完成簡單基礎(chǔ)模型以及典型Transformer結(jié)構(gòu)的NLP語言模型的訓(xùn)練。
據(jù)悉,智源此次發(fā)布的“悟道3.0”系列開源模型涵蓋語言、視覺、多模態(tài)等基礎(chǔ)大模型,其中,“悟道·天鷹”(Aquila)語言大模型是首個具備中英雙語知識、支持商用許可協(xié)議、國內(nèi)數(shù)據(jù)合規(guī)需求的開源語言大模型。其在中英文高質(zhì)量語料基礎(chǔ)上從0開始訓(xùn)練,通過數(shù)據(jù)質(zhì)量的控制、多種訓(xùn)練的優(yōu)化方法,實現(xiàn)在更小的數(shù)據(jù)集、更短的訓(xùn)練時間內(nèi),獲得比其他開源模型更優(yōu)的性能。
“悟道?天鷹(Aquila)”語言大模型開源商用許可無疑將會成為自主大語言模型產(chǎn)業(yè)生態(tài)的一個里程碑事件。摩爾線程也愿與眾多優(yōu)秀的基礎(chǔ)模型供應(yīng)商深度合作,攜手從硬件、算子、算法多個方面進(jìn)行深度優(yōu)化,從硬件、軟件、模型、業(yè)務(wù)多個維度賦能應(yīng)用開發(fā)商,致力于讓大模型更好賦能千行百業(yè)。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 大模型創(chuàng)企階躍星辰完成數(shù)億美元B輪融資 騰訊投資、啟明創(chuàng)投等有投資
- 百川智能發(fā)布全鏈路領(lǐng)域增強(qiáng)金融大模型Baichuan4-Finance,整體準(zhǔn)確率領(lǐng)先GPT-4o近20%
- 央視曝光未成年人可輕松繞開“防沉迷”系統(tǒng):租號玩游戲最低僅需4元
- 知乎發(fā)布2024“年度十問”:《黑神話:悟空》、諾貝爾物理學(xué)獎等問題在列
- 李斌回應(yīng)螢火蟲三重奏大燈設(shè)計:沒有參考iPhone
- 一周熱點匯總:特斯拉下月量產(chǎn)改款Model Y,阿里“甩賣”銀泰
- 蔚來第三品牌firefly螢火蟲首款車型正式亮相 預(yù)售價14.88萬元
- 首發(fā)線控轉(zhuǎn)向等多項技術(shù) 蔚來旗艦車型ET9正式上市:78.8萬元起
- 網(wǎng)信辦:從嚴(yán)打擊網(wǎng)上侵害未成年人合法權(quán)益行為
- 豆包大模型全面升級,相關(guān)概念股瘋漲,字節(jié)發(fā)布緊急警示
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實,并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。