一個(gè)GPU需要多少個(gè)光模塊?

市場(chǎng)上對(duì)于光模塊與GPU數(shù)量的比例存在不同的版本，各個(gè)版本的數(shù)字并不一致，主要是因?yàn)椴煌M網(wǎng)架構(gòu)下所需的光模塊數(shù)量不一樣。實(shí)際使用的光模塊數(shù)量主要取決于以下幾個(gè)方面。

1、網(wǎng)卡型號(hào)

主要包括兩種類型的網(wǎng)卡，ConnectX-6（200Gb/s，主要配合A100使用）主要使用的光模塊有MMA1T00-HS（200G Infiniband HDR QSFP56 SR4 PAM4 850nm 100m）和ConnectX-7（400Gb/s，主要與H100配套使用）。

2、交換機(jī)型號(hào)

下一代ConnectX-8 800Gb/s交換機(jī)型號(hào)主要包括兩種類型的交換機(jī)，QM9700系列（32端口OSFP（2*400Gb/s），400Gb/s傳輸速率下共有64個(gè)通道，總計(jì)51.2 Tb/s吞吐率）和QM8700系列（40端口QSFP56，總共40個(gè)200Gb/s通道，總計(jì)16Tb/s吞吐率）。

3、單元數(shù)量（可擴(kuò)展單元SU）

單元數(shù)量影響交換架構(gòu)的層次，單元數(shù)量較少時(shí)僅采用兩層架構(gòu)，單元數(shù)量較多時(shí)采用三層架構(gòu)。

H100 SuperPOD：每個(gè)單元由32個(gè)節(jié)點(diǎn)（DGX H100服務(wù)器）組成，最多支持4個(gè)單元組成集群，采用兩層交換架構(gòu)。

A100 SuperPOD：每個(gè)單元包含20個(gè)節(jié)點(diǎn)（DGX A100服務(wù)器），最多支持7個(gè)單元組成集群，超過(guò)5個(gè)單元需要三層交換架構(gòu)。

小結(jié)：

（1）A100+ConnectX6+QM8700三層網(wǎng)絡(luò)：1:6比例，均采用200G QSFP56光模塊

（2）A100+ConnectX6+QM9700二層網(wǎng)絡(luò)：1:0.75 800G OSFP光模塊+1:1 200G QSFP56光模塊

（3）H100+ConnectX7+QM9700二層網(wǎng)絡(luò)：1:1.5 800G OSFP光模塊+1:1 400G OSFP光模塊

（4）H100+ConnectX8（尚未發(fā)布）+QM9700三層網(wǎng)絡(luò)：1:6比例，均采用800G OSFP收發(fā)器

假設(shè)2023年H100+A100出貨量為30萬(wàn)+90萬(wàn)，將產(chǎn)生315萬(wàn)200G QSP56+30萬(wàn)400G OSFP+78.75萬(wàn)800G OSFP需求，AI市場(chǎng)增量空間為13.8億美元。

假設(shè)2024年H100+A100出貨量為150萬(wàn)+150萬(wàn)，將產(chǎn)生75萬(wàn)片200G QSFP56+75萬(wàn)片400G OSFP+675萬(wàn)片800G OSFP需求，AI市場(chǎng)增量空間為49.7億美元，約等于2021年數(shù)字直通光模塊市場(chǎng)規(guī)模。

下面是針對(duì)上述每種場(chǎng)景的詳細(xì)測(cè)量過(guò)程。

場(chǎng)景一：A100+ConnectX6+QM8700三層網(wǎng)絡(luò)。

A100共有8個(gè)計(jì)算接口，左側(cè)4個(gè)，右側(cè)4個(gè)（如下圖）。目前A100出貨主要搭配ConnectX6進(jìn)行外部通信，接口速率為200Gb/s。

在第一層架構(gòu)中，每個(gè)節(jié)點(diǎn)有8個(gè)接口，每個(gè)節(jié)點(diǎn)連接8個(gè)葉型交換機(jī)，每20個(gè)節(jié)點(diǎn)組成一個(gè)單元（SU），因此第一層共需要8*SU葉子交換機(jī)、8*SU*20根線纜，以及2*8*SU*20個(gè)200G光模塊。

在第二層架構(gòu)中，由于無(wú)阻塞架構(gòu)，上行速率等于下行速率。第一層總單向傳輸速率為200G*線纜數(shù)量。由于第二層也采用單纜200G傳輸速率，因此第二層的線纜數(shù)量應(yīng)與第一層相同，需要8*SU*20線纜（Cable）和2*8*SU*20 200G收發(fā)器。所需的脊型交換機(jī)數(shù)量是電纜數(shù)量除以葉交換機(jī)數(shù)量，即（8*SU*20）/（8*SU）脊型交換機(jī)。但當(dāng)葉型交換機(jī)的數(shù)量不夠多時(shí)，葉型與脊型之間可以建立兩個(gè)以上的連接，以節(jié)省脊型交換機(jī)的數(shù)量（只要不超過(guò)40個(gè)接口的限制）。因此，當(dāng)單元數(shù)分別為1/2/4/5時(shí)，所需脊型交換機(jī)數(shù)量為4/10/20/20，所需光模塊數(shù)量分別為320/640/1280/1600。脊型交換機(jī)數(shù)量不會(huì)按相同比例增加，但光模塊數(shù)量會(huì)按相同比例增加。

當(dāng)單元數(shù)量達(dá)到7時(shí)，需要第三層架構(gòu)，由于是非阻塞架構(gòu)，因此第三層架構(gòu)所需的電纜數(shù)量與第二層的數(shù)量相同。

推薦配置SuperPOD：7臺(tái)單位進(jìn)行組網(wǎng)，需要增加第三層架構(gòu)并增加核心交換機(jī)，各種不同數(shù)量的單位每層交換機(jī)數(shù)量、連接電纜數(shù)量如圖所示。

140臺(tái)服務(wù)器，共140*8=1120個(gè)A100，共56+56+28=140臺(tái)交換機(jī)（QM8790），1120+1120+1120=3360根線纜，3360*2=6720個(gè)200G QSFP56光模塊，之間的映射A100和200G QSFP56光模塊為1120/6720=1:6。

場(chǎng)景二：A100+ConnectX6+QM9700二層網(wǎng)絡(luò)

目前推薦配置中還沒(méi)有該方案，但未來(lái)越來(lái)越多的A100可能會(huì)選擇QM9700組網(wǎng)，這會(huì)減少光模塊的使用數(shù)量，但帶來(lái)800G OSFP光模塊需求。最大的區(qū)別在于，第一層連接由8根外部200G電纜轉(zhuǎn)換為QSFP轉(zhuǎn)OSFP接口，有2個(gè)和1對(duì)4。

第一層：對(duì)于7臺(tái)單元，140臺(tái)服務(wù)器有140*8=1120個(gè)接口，總共1120/4=280根1-tow-4線纜對(duì)外連接，得到280個(gè)800G OSFP和1120個(gè)200G OSFP56光口模塊要求?？偣残枰?2個(gè)QM9700交換機(jī)。

第二層：僅800G連接，需要280*2=560個(gè)800G OSFP收發(fā)器，需要9臺(tái)QM9700交換機(jī)。

因此，140臺(tái)服務(wù)器和1120臺(tái)A100需要12+9=21臺(tái)交換機(jī)、560+280=840個(gè)800G OSFP光模塊和1120個(gè)200G QSFP56光模塊。

A100與800G OSFP光模塊的映射為1120:840=1:0.75，A100與200G QSFP56光模塊的映射為1:1

場(chǎng)景三：H100+ConnectX7+QM9700二層網(wǎng)絡(luò)

H100設(shè)計(jì)的特別之處在于，雖然網(wǎng)卡是8個(gè)GPU，帶有8個(gè)400G網(wǎng)卡，但接口合并為4個(gè)800G接口，這將帶來(lái)大量800G OSFP光模塊需求。

在第一層，根據(jù)推薦配置，建議在服務(wù)器接口連接1個(gè)【2*400G】800G OSFP光模塊：MMA4Z00-NS(800Gb/s Twin-port OSFP 2x400G SR8 PAM4 850nm 100m DOM Dual MPO-12 MMF）或MMS4X00-NM（800Gb/s雙端口OSFP 2x400G PAM4 1310nm 500m DOM雙MTP/MPO-12 MMF），通過(guò)雙端口。），兩條光纖電纜(MPO)通過(guò)雙端口連接并插入兩個(gè)交換機(jī)中的每一個(gè)。

那么對(duì)于第一層而言，一個(gè)單元包含32個(gè)服務(wù)器，一個(gè)服務(wù)器連接2*4=8個(gè)交換機(jī)，SuperPOD包括4個(gè)單元，第一層總共需要連接4*8=32個(gè)葉子交換機(jī)。

因此，建議需要預(yù)留一個(gè)節(jié)點(diǎn)用于管理目的（UFM），由于對(duì)光模塊的使用影響有限，只按照4臺(tái)128臺(tái)服務(wù)器簡(jiǎn)略計(jì)算。

第一層共4*128=512個(gè)800G OSFP光模塊，2*4*128=1024個(gè)400G OSFP光模塊：MMA4Z00-NS400（400G OSFP SR4 PAM4 850nm 30m on OM3/50m on OM4 MTP/MPO-12)或NVIDIA MMS4X00-NS400(400G OSFP DR4 PAM4 1310nm MTP/MPO-12 500m)。

第二層交換機(jī)之間采用800G光模塊直連，向下連接一臺(tái)葉型交換機(jī)，單向速率為32*400G。為了保證上下行速率相同，因此上行連接需要16*800G單向速率，需要16臺(tái)脊型交換機(jī)，總共4*8*16*2=1024個(gè)800G光模塊。

因此，在該架構(gòu)下，兩層總共需要512+1024=1536個(gè)800G OSFP光模塊和1024個(gè)400G OSFP光模塊，總共4*32*8=1024個(gè)H100。因此，GPU與800G OSFP光模塊的映射關(guān)系為1024/1536→1:1.5，GPU與400G OSFP光模塊的映射關(guān)系為1024/1024→1:1。

場(chǎng)景四：H100+ConnectX8（尚未發(fā)布）+QM9700三層網(wǎng)絡(luò)

假設(shè)H100升級(jí)到800G網(wǎng)卡后，外部接口應(yīng)該從4個(gè)OSFP接口升級(jí)到8個(gè)OSFP接口。每層之間的連接均采用800G連接，整個(gè)網(wǎng)絡(luò)架構(gòu)與第一種場(chǎng)景類似，只是將200G光模塊更換為800G光模塊。因此，該架構(gòu)中GPU與光模塊的比例也是1:6。

綜上，將四種場(chǎng)景整理成下表。

假設(shè)2023年H100+A100出貨量為30萬(wàn)+90萬(wàn)，將產(chǎn)生315萬(wàn)片200G+30萬(wàn)片400G+78.75萬(wàn)片800G OSFP需求。

假設(shè)2024年H100+A100出貨量為150萬(wàn)+150萬(wàn)，將產(chǎn)生75萬(wàn)片200G+75萬(wàn)片400G+675萬(wàn)片800G OSFP需求。

*A100一半使用200G交換機(jī)，一半使用400G交換機(jī)。

**H100一半使用400G交換機(jī)，一半使用800G交換機(jī)。

上述對(duì)A100 H100數(shù)量的估計(jì)僅是假設(shè)，并不代表未來(lái)的預(yù)期。

按照2023年平均價(jià)格1美元/GB、2024年0.85美元/GB簡(jiǎn)單計(jì)算，預(yù)計(jì)AI將為光模塊帶來(lái)13.8/49.7億美元的AI增量市場(chǎng)空間。

相關(guān)推薦：

如何選擇光模塊?

什么是400G光模塊？

800G光模塊有哪些分類

光模塊/AOC/DAC技術(shù)門檻低？

千兆光模塊和萬(wàn)兆光模塊？它們有什么區(qū)別？

CIBIS峰會(huì)

由千家網(wǎng)主辦的2023年第24屆CIBIS筑智能化峰會(huì)即將正式拉開(kāi)帷幕，本屆峰會(huì)主題為“智慧連接，‘筑’就未來(lái)”， 將攜手全球知名智能化品牌及業(yè)內(nèi)專家，共同探討物聯(lián)網(wǎng)、AI、云計(jì)算、大數(shù)據(jù)、IoT、智慧建筑、智能家居、智慧安防等熱點(diǎn)話題與最新技術(shù)應(yīng)用，分享如何利用更知慧、更高效、更安全的智慧連接技術(shù)，“筑”就未來(lái)美好智慧生活。歡迎建筑智能化行業(yè)同仁報(bào)名參會(huì)，分享交流！

報(bào)名方式

成都站（10月24日）：https://www.huodongxing.com/event/6715336669000

西安站（10月26日）：https://www.huodongxing.com/event/3715335961700

長(zhǎng)沙站（11月09日）：https://www.huodongxing.com/event/7715337579900

上海站（11月21日）：https://www.huodongxing.com/event/9715337959000

北京站（12月23日）：https://www.huodongxing.com/event/3715338464800

廣州站（12月07日）：https://www.huodongxing.com/event/6715338767700

更多2023年CIBIS峰會(huì)信息，詳見(jiàn)峰會(huì)官網(wǎng)：http://summit.qianjia.com/

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。