近日，淮海智算中心攜手浪潮信息進行了超大規(guī)模參數(shù)AI大模型訓(xùn)練性能測試，實測數(shù)據(jù)表明，千億參數(shù)規(guī)模的自然語言AI單體大模型在淮海智算中心計算平臺上的訓(xùn)練算力效率達53.5%，刷新了業(yè)內(nèi)AI大模型訓(xùn)練算力效率新高。這意味著淮海智算中心將可為國內(nèi)生成式AI創(chuàng)新團隊提供高性能、高效率的AI大模型訓(xùn)練算力服務(wù)。

生成式AI需要基于海量的自然語言或多模態(tài)數(shù)據(jù)集，對擁有巨大參數(shù)的超大規(guī)模AI模型進行訓(xùn)練，其訓(xùn)練所需AI算力當(dāng)量非常高，如以PD(Petaflops-Day)為單位來衡量，OpenAI的GPT-3大模型訓(xùn)練的算力當(dāng)量為3640PD，而浪潮“源1.0”大模型的算力當(dāng)量則為4095PD。

超大規(guī)模AI大模型的訓(xùn)練一般必須在擁有成百上千加速卡的AI服務(wù)器集群上進行，如何在AI計算集群上獲得更高的訓(xùn)練算力效率則會直接影響到模型訓(xùn)練時長以及算力消耗成本，這對于提升生成式AI研發(fā)創(chuàng)新效率有著非常重要的影響。據(jù)公開資料表明，GPT-3大模型在其V100GPU集群上的訓(xùn)練算力效率為21.3%，而浪潮“源1.0”的訓(xùn)練算力效率則達到了44.8%。

針對AI大模型訓(xùn)練的計算特點，浪潮信息AI團隊對淮海智算中心算力系統(tǒng)進行了專業(yè)設(shè)計，對集群架構(gòu)、高速互聯(lián)、算力調(diào)度等方面進行全面優(yōu)化，在系統(tǒng)架構(gòu)上，采用單節(jié)點集成8顆加速器的AI服務(wù)器，節(jié)點內(nèi)加速器間實現(xiàn)超高速P2P通信，節(jié)點間建立極低延遲、超高帶寬的Infiniband通信網(wǎng)絡(luò)。在大模型訓(xùn)練技術(shù)層面，成功運用了中文巨量AI模型“源1.0”的訓(xùn)練優(yōu)化經(jīng)驗，對分布式訓(xùn)練策略進行了針對性優(yōu)化，通過合理設(shè)計張量并行、流水并行和數(shù)據(jù)并行，精準(zhǔn)調(diào)整模型結(jié)構(gòu)和訓(xùn)練過程的超參數(shù)，最終實現(xiàn)了千億參數(shù)規(guī)模AI大模型的訓(xùn)練算力效率達到53.5%。

千億參數(shù)AI模型結(jié)構(gòu)及其實際性能表現(xiàn)

淮海智算中心由安徽省宿州市與浪潮共同推進建設(shè)，目標(biāo)是建成技術(shù)先進、架構(gòu)開放、應(yīng)用豐富、生態(tài)完善的國內(nèi)領(lǐng)先智算樞紐?；春Ｖ撬阒行膶⒁揽款I(lǐng)先的算力、算法基礎(chǔ)設(shè)施，開放的技術(shù)架構(gòu)，成熟豐富的生態(tài)應(yīng)用，面向全國提供智能算力、數(shù)據(jù)和算法服務(wù)，打造良好的智算產(chǎn)業(yè)生態(tài)。

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）