9月20日，在華為全聯(lián)接大會2024期間舉辦的數(shù)據存儲峰會上，華為公司副總裁、數(shù)據存儲產品線總裁周躍峰博士發(fā)布全新AI存儲OceanStor A800，以長記憶內存新范式全面提升AI大模型訓練和推理能力，助力千行萬業(yè)大步邁入數(shù)智時代。

華為公司副總裁、數(shù)據存儲產品線總裁周躍峰

人類文明從遠古的石器時代，到農業(yè)時代、工業(yè)時代，直至如今的數(shù)智時代，數(shù)據作為發(fā)展新質生產力的關鍵生產要素。人們利用數(shù)據，在AI大模型、具身智能、AI for science等核心AI領域取得長足發(fā)展。

數(shù)智時代是數(shù)據的黃金時代，數(shù)據規(guī)模爆炸式增長、數(shù)據價值不斷攀升的同時，也面臨xPU與存儲的帶寬不足、算力集群可用度低、推理時延長等挑戰(zhàn)，對存儲提出更高要求。數(shù)智時代呼喚Storage for AI，具備極致性能、高擴展性、數(shù)據韌性、可持續(xù)發(fā)展、新數(shù)據范式以及數(shù)據編織能力的數(shù)據存儲是通往AI數(shù)智時代的必由之路。

為應對以上挑戰(zhàn)，華為發(fā)布全新AI存儲OceanStor A800，在AI大模型高效訓練能力的基礎上，大幅增強推理能力，并在集群性能、新數(shù)據范式上有了跨越式提升，促進AI在千行萬業(yè)落地。

· 單套AI存儲設備支持十萬卡級大模型訓練

通過構建前端網卡全共享、控制器與后端SSD盤全互聯(lián)的技術架構，單套存儲設備可支持10萬卡級集群全互聯(lián)。一套OceanStor A800 存儲最多可實現(xiàn)與19.2萬卡訓練集群的靜態(tài)全連接，性能提升40%，空間占用降低80%。

· 以存強算，AI集群可用度提升30%

AI訓練中斷頻頻發(fā)生，據統(tǒng)計AI訓練中心持續(xù)訓練的時間最長僅為2.6天，導致GPU/NPU必須反復保存CKPT數(shù)據。中國移動將華為OceanStor AI存儲用于大模型訓練，實現(xiàn)150PB單存儲集群、8TB/s帶寬和2.3億IOPS的能力，集群可用度提升32%，為后續(xù)更大規(guī)模大模型訓練提供有力支撐。

· 以存代算，長記憶內存型存儲提升推理體驗并降低系統(tǒng)成本

Long context（長上下文）成為大模型推理的必然發(fā)展趨勢，根據Scaling law，提供足夠高的推理算力和中間Token數(shù)，可大幅提升推理的準確度。通過專業(yè)AI存儲，可長期保存Long context及海量中間推理Token，最大程度提升大模型的邏輯思考和推理能力，尤其是慢思考能力。

OceanStor A800作為業(yè)界首款提供長記憶能力的存儲，創(chuàng)新性采用多級KV緩存機制，將KV-Cache持久化保存并高效使用，讓大模型推理具備長記憶能力，減少在Prefill階段的重復計算，客戶推理時延降低78%，單個xPU卡的吞吐量提升67%，大幅提升推理體驗的同時降低成本。

數(shù)智時代的全新AI存儲，正在金融信貸、投研分析、醫(yī)療健康、藥物研發(fā)等行業(yè)場景發(fā)揮價值。周躍峰表示，在數(shù)據的黃金時代，華為以其創(chuàng)新的AI存儲，釋放先進數(shù)據存力，鑄就數(shù)智時代根基。

生成海報

免責聲明：本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網站出現(xiàn)的信息，均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時，應及時向本網站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。