摘要：10倍級調優(yōu)效率、分鐘級任務恢復!昇思助力千億模型快穩(wěn)訓練

基于昇騰AI大集群，運營商伙伴基于昇思MindSpore AI框架成功實現(xiàn)了Llama3.1-405B大模型的訓練。數(shù)據(jù)顯示，本次模型訓練性能與原生方案持平，訓練效率及穩(wěn)定性顯著提升，展示了昇騰AI處理器與昇思AI框架軟硬結合的強大能力。

本次聯(lián)合創(chuàng)新，是運營商伙伴聯(lián)合昇思首次在超大規(guī)模集群上，快速打造基于昇思MindSpore版本的開源千億稠密大模型，且實現(xiàn)適配后模型原生、訓練效率提升。

根據(jù)公開報道，Llama3.1-405B原生訓練耗時持續(xù)54天，累計發(fā)生419次故障，平均每3小時產(chǎn)生一次，模型訓練耗時長、穩(wěn)定性要求高，如何優(yōu)化訓練性能、提升執(zhí)行效率，同時提升穩(wěn)定性，成為加速模型訓練、提升模型精度的關鍵。面向訓得快、訓得穩(wěn)等需求，昇思MindSpore提供了大模型開發(fā)套件、多維混合分布式并行、斷點續(xù)訓等能力，支持Llama3.1-405B又快又穩(wěn)訓練。

一、10倍級調優(yōu)效率提升，任務拉起快、分布式配置策略便捷

MindSpore Transformers大模型開發(fā)套件支持一鍵YAML配置多維并行切分策略，使用開發(fā)的套件的訓練組件，相較業(yè)界其他產(chǎn)品更簡潔易用，快速在超大集群上拉起千億稠密模型任務，提升計算的調度效率。

同時，套件封裝輕量接口調用分布式并行接口，使用數(shù)據(jù)并行、模型并行、流水線并行、細粒度多副本并行、序列并行等多種策略混合，配合offset參數(shù)調整模型切分策略，實現(xiàn)模型切分的計算與內(nèi)存負載均衡，解決內(nèi)存瓶頸問題，最大化昇騰硬件性能釋放，結合LazyInline等特性，提升內(nèi)存復用效率。此外，依托計算通信多流水并行、運行時流水異步調度，算子融合等多種加速優(yōu)化特性，進一步提升模型性能。

此外，MindSpore的內(nèi)存復用技術進一步優(yōu)化了資源使用，降低了重復計算的比例，使得大規(guī)模訓練更加高效。

模型的調試調優(yōu)依托MindSpore提供的Dryrun模擬功能，實現(xiàn)單卡仿真集群分布式策略選擇。訓練時在離線的單卡場景進行模型訓練的內(nèi)存瓶頸分析、并行策略調優(yōu)，無需占用超大集群，并將單卡模擬的分布式策略直接映射到超大集群應用，在小時級時間尺度上調試出接近極致性能的405B并行策略配置，相對于傳統(tǒng)的大集群上直接調優(yōu)，效率提升10倍以上，同時，降低開發(fā)者選擇分布式并行策略門檻，節(jié)省大量硬件資源及時間成本。

二、20分鐘內(nèi)實現(xiàn)任務恢復：斷點續(xù)訓與編譯緩存技術

面對千億參數(shù)模型在超大集群的頻繁中斷問題，昇思MindSpore通過編譯緩存技術，打造確定性CKPT，支持斷點續(xù)訓，以小時級顆粒度進行任務保存，減少中斷時訓練進度的丟失。斷點續(xù)訓顯著縮短了故障情況下任務重新拉起的耗時，斷點續(xù)訓自故障發(fā)生至新訓練出loss時間跨度縮至20分鐘內(nèi)，大幅減少了長時間任務中斷后重新啟動的等待時間。

未來，昇思MindSpore將攜手更多伙伴，在自主創(chuàng)新的軟硬件基礎平臺上，原生孵化、適配支持更多全球范圍的主流模型，加速使能大模型創(chuàng)新，推動AI應用落地。

（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。 ）