9月12日消息(九九)9月11-13日,第25屆中國國際光電博覽會在深圳舉行,在同期舉辦的“智算中心光技術創(chuàng)新發(fā)展論壇”上,中國移動研究院基礎網(wǎng)絡技術研究所副所長程偉強表示,大模型技術發(fā)展趨勢總體仍然遵循ScalingLaw,參數(shù)已邁進萬億甚至十萬億規(guī)模;模型結構在原有Transformer的基礎上,引入了擴散模型、MoE專家系統(tǒng),模型的泛化能力增強、性能提升。
程偉強指出,大算力仍然是大模型創(chuàng)新落地的關鍵,國內(nèi)外大型科技公司正積極投建萬卡/超萬卡集群智算中心。近日,作為全球運營商最大單集群智算中心,中國移動智算中心(哈爾濱)正式上線投產(chǎn)。該智算中心單集群內(nèi)超過1.8萬張AI加速卡,智能算力規(guī)模達6.9EFLOPS。
以太網(wǎng)物理層安全(PHYSec)突破加解密性能瓶頸
程偉強強調(diào),智算中心新一代以太網(wǎng)技術需要具備高帶寬、高可靠、高安全等特點。
在高帶寬方面,DCN和DCI正加速向800G和1.6T演進。800GE標準、產(chǎn)業(yè)成熟,已開始商用部署。單通道100G的IEEE802.3df標準已發(fā)布,產(chǎn)業(yè)已成熟;單通道200G的標準baseline已確定,800GE coherent新增20km光接口,支持傳統(tǒng)電信場景的需求,支持20/40/80km互通和共技術平臺。1.6T標準正穩(wěn)步推進,產(chǎn)業(yè)成熟、商用部署仍需時日;IEEE802.3dj重點關注1.6TE短距光標準,OIF已領跑1.6T相干標準化。
中國移動積極參與推動IEEE P802.3df&dj工作組的800GE標準化工作,主導完成800GE 20km新目標立項,是中國公司在IEEE的首個以太網(wǎng)基礎標準立項,同時主導通過800GE 20km/40km相干標準框架提案被工作組采納。
在高可靠方面,F(xiàn)lexLane彈性通道技術,為智算網(wǎng)絡互聯(lián)提供高可靠保障。FlexLane是基于以太網(wǎng)物理層彈性通道的高可靠保障技術,當物理層檢測到lane故障后能夠進行快速故障隔離,故障恢復后可以自愈。
在高安全方面,以太網(wǎng)物理層安全(PHYSec)突破加解密性能瓶頸。智算中心基礎設施承載大量數(shù)據(jù)傳輸處理,安全訴求極高;RDMASec、MACSec等安全方案在加解密帶寬開銷、時延、硬件支持等方面存在性能瓶頸,暴露的幀頭部信息仍存在安全漏洞。中國移動探索將傳統(tǒng)密碼學思想應用到以太網(wǎng)物理層—PHYSec,解決現(xiàn)有技術方案的安全漏洞與性能瓶頸。
程偉強介紹,PHYSec具有四大優(yōu)勢:一是協(xié)議透明,全加密。在物理層對比特流加密,保護所有幀頭部,掩蓋幀長度、幀發(fā)送頻率。二是隨流安全,低時延。隨流加密,解密時延全掩蓋(~20ns),對AI訓練或推理基本無影響。三是不占帶寬,低開銷?;谖锢韺釉鷻C制承載協(xié)議,不占用用戶帶寬。四是兼容存量,易部署??苫赑HY芯片或光模塊DSP芯片實現(xiàn),安全可插拔,支持存量網(wǎng)絡平滑升級。
全調(diào)度以太網(wǎng)(GSE)兩大模式,滿足所有智算組網(wǎng)場景需求
程偉強指出,傳統(tǒng)網(wǎng)絡技術難以適應大規(guī)模AI集群的發(fā)展需求,面臨著四大難題:大規(guī)模網(wǎng)絡擁塞控制難、突發(fā)大象流負載均衡難、巨量鏈路長期穩(wěn)定運行難、敏感隱私數(shù)據(jù)安全保障難,亟需徹底革新底層基礎網(wǎng)絡技術。
中國移動原創(chuàng)提出GSE技術體系,革新以太網(wǎng)轉發(fā)機制,基于分發(fā)粒度、發(fā)流模式、轉發(fā)機制和安全加密四大原創(chuàng)技術,實現(xiàn)高精度負載均衡、網(wǎng)絡層原生無損及低延遲。
程偉強介紹,全調(diào)度以太網(wǎng)(GSE)兩大模式,滿足所有智算組網(wǎng)場景:純網(wǎng)絡(N2N)方案交換設備需支持GSE核心能力,如GSE頭解封裝、多路分發(fā)、授權及排序等,網(wǎng)卡無感知;端網(wǎng)協(xié)同(E2E)方案交換設備能力弱化,負責多路分發(fā),GSE核心能力下沉至網(wǎng)卡。
程偉強進一步介紹,GSE-N2N技術方案是基于報文容器的多路徑噴灑及DGSQ授權。程偉強解釋說,單流多路徑是提升網(wǎng)絡有效帶寬、降低網(wǎng)絡擁塞的關鍵手段,其核心是打破傳統(tǒng)流轉發(fā)粒度,在保證鏈路均衡性的前提下,充分利用網(wǎng)絡多路徑,同時減低端側處理亂序的壓力。
GSE E2E技術方案是基于報文容器的多路徑噴灑及亂序處理。在現(xiàn)有網(wǎng)絡報文級負載均衡且亂序交付方案中,由于接收端缺少報文到達的路徑信息,無法快速判丟;GSE的容器理念可為端側提供報文轉發(fā)的路徑信息,實現(xiàn)端側在亂序接收情況下的快速判斷。
截至目前,全調(diào)度以太網(wǎng)GSE1.0已經(jīng)正式商用于中國移動智算中心(哈爾濱),GSE-N2N千卡集群正在試商用,GSE-E2E原型設備即將發(fā)布。程偉強透露,中國移動已經(jīng)啟動同廠家、異廠家千卡級GSE中試驗證,配合九天、LLama-70B等大模型,驗證GSE技術成熟性。GSE推進計劃團隊已經(jīng)完成三本技術標準的制定,并于9月底進行正式發(fā)布。
智算中心互聯(lián):IP+光融合方案是重要技術方向
隨著AI大模型的發(fā)展,新型智算互聯(lián)業(yè)務不斷涌現(xiàn),以分布式訓練、存算分離為代表的新型業(yè)務對網(wǎng)絡提出了更高要求。
面向AI大模型分布式訓練需求及場景,超萬卡級智算中心的電力供應/機房空間等節(jié)點能力將成為建設瓶頸,智算中心分地域、分時期、分階段建設現(xiàn)象較為普遍,形成多個算力資源孤島,“可通過網(wǎng)絡能力整合多個集群,換取更大的集群規(guī)模。”程偉強說。
面向分布式訓練長距離互聯(lián),其最大的挑戰(zhàn)是網(wǎng)絡時延增加(受限于物理極限)和互聯(lián)帶寬巨增(受限于建網(wǎng)成本),帶寬和時延的劣化,大幅降低集群有效算力,集群互聯(lián)獲得的規(guī)模效益降低,拉遠算效目標相比同局址不能低于80%(業(yè)界紅線)。
程偉強認為,百公里城域跨園區(qū)互聯(lián)場景是一個技術問題,電力緩解、網(wǎng)絡受限,通過大buffer路由器設備、高速以太網(wǎng)中長距技術,為AI大模型分布式訓練提供更強大的算力。其中,IP+光融合方案有利于簡化互聯(lián)設備形態(tài),降低功耗、尺寸、成本,實現(xiàn)統(tǒng)一管控運維,是跨智算中心互聯(lián)IP廣域網(wǎng)的重要技術方向
千公里跨省多節(jié)點互聯(lián)場景是一個科學問題,網(wǎng)絡、模型算法均受限,需要凝聚產(chǎn)學研用各方力量,共同攻關新大模型算法,新組網(wǎng)架構、路由器緩存共享、大象流負載分擔、IP廣域擁塞控制等關鍵技術,爭取形成全球領先的技術突破。
- 蜜度索驥:以跨模態(tài)檢索技術助力“企宣”向上生長
- 中國電信再次出讓三家金融機構股權 價值規(guī)模近10億
- 中國移動無源器件產(chǎn)品集采:規(guī)模為1807.93萬件
- 中國移動分天線產(chǎn)品集采:規(guī)模為1588.82萬面
- 訊飛中標沈陽市大東區(qū)人工智能大模型項目
- 中國衛(wèi)通集團轉讓中衛(wèi)普信20%股權
- 中國移動5G大功率(2.6G單頻)直放站設備集采:京信、銳捷等6家中標
- 天翼云擊敗聯(lián)通數(shù)科,中標天津軌道云項目
- 相愛相殺:三大運營商聯(lián)合中標山西省電子政務外網(wǎng)項目
- 北京聯(lián)通中標中信信托機柜租賃采購項目
- 中國聯(lián)通11月5G套餐用戶凈增127.8萬戶
免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內(nèi)容或斷開相關鏈接。