科技云報(bào)道原創(chuàng)。
“我們需要更大的GPU”!
3月19日凌晨,一年一度的“AI風(fēng)向標(biāo)”重磅會(huì)議——GTC 2024如期而至。
英偉達(dá)CEO黃仁勛在大會(huì)上發(fā)布了包括新一代加速計(jì)算平臺(tái)NVIDIA Blackwell、Project GR00T人形機(jī)器人基礎(chǔ)模型、Omniverse Cloud API、NVIDIA DRIVE Thor集中式車載計(jì)算平臺(tái)等在內(nèi)的一系列突破性科技成果。
其中,NVIDIA Blackwell作為英偉達(dá)的“王炸”力作,再次將AI芯片的技術(shù)標(biāo)準(zhǔn)推向了新的高度。
緊接著,NVIDIA和亞馬遜云科技宣布了雙方的擴(kuò)展合作,Blackwell將很快登陸亞馬遜云科技,并與亞馬遜云科技引以為傲的網(wǎng)絡(luò)連接、高級(jí)虛擬化和超大規(guī)模集群等領(lǐng)先技術(shù)結(jié)合,為數(shù)萬(wàn)億參數(shù)規(guī)模的大模型推理工作負(fù)載帶來(lái)巨大的性能飛躍。
萬(wàn)億級(jí)參數(shù)規(guī)模正處在當(dāng)前全球頂級(jí)大模型的實(shí)際參數(shù)區(qū)間,也許用戶很快就能在各種生成式AI應(yīng)用中體驗(yàn)到新硬件帶來(lái)的提升。
“王炸”AI芯片誕生
訓(xùn)練萬(wàn)億參數(shù)級(jí)別的大模型,需要多大規(guī)模的算力?
在GTC現(xiàn)場(chǎng),黃仁勛首先算了一道數(shù)學(xué)題。以O(shè)penAI最先進(jìn)的1.8萬(wàn)億參數(shù)大模型為例,該模型需要幾萬(wàn)億的Token進(jìn)行訓(xùn)練。
萬(wàn)億參數(shù)與數(shù)萬(wàn)億的Token相乘,就是訓(xùn)練OpenAI最先進(jìn)大模型所需的計(jì)算規(guī)模。黃仁勛估算,如果用一顆petaflop(每秒鐘進(jìn)行1千萬(wàn)億次運(yùn)算)量級(jí)的GPU進(jìn)行運(yùn)算,需要1000年的時(shí)間才能完成。
在Transformer發(fā)明后,大模型的規(guī)模正在以驚人的速度擴(kuò)展,平均每6個(gè)月就會(huì)翻倍,這意味著萬(wàn)億級(jí)別參數(shù)并不是大模型的上限。
在這種趨勢(shì)下,黃仁勛相信,生成式AI的迭代和發(fā)展,需要更大的GPU、更快的GPU互連技術(shù)、更強(qiáng)大的超級(jí)計(jì)算機(jī)內(nèi)部連接技術(shù),以及更龐大的超級(jí)計(jì)算機(jī)巨型系統(tǒng)。
一直以來(lái),NVIDIA推出的GPU一般是兩種架構(gòu),其中面向游戲的GeForce RTX系列GPU是Ada Lovelace架構(gòu),面向AI、大數(shù)據(jù)等應(yīng)用的專業(yè)級(jí)顯卡是Hopper架構(gòu)。風(fēng)靡世界的H100就是基于Hopper架構(gòu)。
雖然Hopper已經(jīng)能夠滿足大部分商用市場(chǎng)的需求,但黃仁勛認(rèn)為這樣還不夠:“我們需要更大的GPU,更需要將GPU堆疊在一起?!?/p>
于是,同時(shí)用以上兩種架構(gòu)類型的產(chǎn)品Blackwell誕生了。Blackwell是英偉達(dá)祭出的第六代芯片架構(gòu)。這塊小小的GPU,集成了2080億個(gè)晶體管,擁有著超強(qiáng)的算力,也顛覆了此前所有的產(chǎn)品。
據(jù)黃仁勛透露,英偉達(dá)為該芯片的研發(fā)投入了100億美元。這一新架構(gòu)以加州大學(xué)伯克利分校數(shù)學(xué)家David Harold Blackwell命名。他專門研究博弈論和統(tǒng)計(jì)學(xué),也是第一位入選美國(guó)國(guó)家科學(xué)院的黑人學(xué)者。
Blackwell在單芯片訓(xùn)練方面的FP8性能是其上一代架構(gòu)的2.5倍,在推理方面的 FP4 性能是其上一代架構(gòu)的5倍。它具有第五代NVLink互連,速度是Hopper的兩倍,并且可擴(kuò)展至576個(gè)GPU。
所以,Blackwell不是一個(gè)芯片,而是一個(gè)平臺(tái)。
NVIDIA GB200 Grace Blackwell超級(jí)芯片通過(guò)900GB/s超低功耗的片間互聯(lián),將兩個(gè)NVIDIA B200 Tensor Core GPU與NVIDIA Grace CPU相連。
其巨大的性能升級(jí),能為人工智能公司提供20 petaflops或每秒2萬(wàn)億次計(jì)算的AI性能,相較于H100,大語(yǔ)言模型性能提升30倍,同時(shí)能耗只有1/25。
不難看出,Blackwell平臺(tái)如此卓越的性能提升,是為了下一代生成式AI做準(zhǔn)備。而從OpenAI最近發(fā)布的Sora和已經(jīng)開(kāi)始研發(fā)更強(qiáng)大、更復(fù)雜的GPT-5模型也能看出,生成式AI的下一步是多模態(tài)和視頻,也就意味著更大規(guī)模的訓(xùn)練。Blackwell帶來(lái)了更多可能性。
如今,從谷歌的無(wú)邊搜索引擎,到亞馬遜的云頂天堂,再到特斯拉的智能駕駛,各大科技巨頭正紛紛加入NVIDIA的Blackwell陣營(yíng),開(kāi)啟了一場(chǎng)令人興奮的AI加速計(jì)算盛宴。
亞馬遜、谷歌、戴爾、Meta、微軟、OpenAI、Oracle、特斯拉等行業(yè)翹楚都在爭(zhēng)先恐后地布局,準(zhǔn)備在AI新時(shí)代大展身手。
難掩戰(zhàn)略焦慮
受益于去年以來(lái)生成式AI的火爆,2月21日盤后,英偉達(dá)公布的最新一季度財(cái)報(bào)再次打破市場(chǎng)預(yù)期。財(cái)報(bào)顯示,2024財(cái)年,英偉達(dá)總營(yíng)收達(dá)609億美元,同比增長(zhǎng)125.85%;凈利潤(rùn)為297.6億美元,同比增長(zhǎng)超581%;調(diào)整后每股盈利為12.96美元,同比增長(zhǎng)288%。此次已經(jīng)是英偉達(dá)實(shí)現(xiàn)連續(xù)四個(gè)季度的盈利超出市場(chǎng)預(yù)期。
英偉達(dá)的業(yè)績(jī)加速實(shí)則反映了全球科技公司對(duì)于AI算力需求的激增。隨著Sora等應(yīng)用的橫空出世,世人看到了大模型落地的巨大潛力。
生成式 AI很有可能進(jìn)入“軍備競(jìng)賽”階段,與之伴隨的是科技公司對(duì)芯片的需求也會(huì)持續(xù)提升。
Counterpoint Research的數(shù)據(jù)顯示,2023年,英偉達(dá)的營(yíng)收將飆升至303億美元,比2022年的163億美元增長(zhǎng)86%,躍升為2023年全球第三大半導(dǎo)體廠商。
富國(guó)銀行則預(yù)計(jì),英偉達(dá)2024年將會(huì)在數(shù)據(jù)中心市場(chǎng)獲得高達(dá)457億美元的營(yíng)收,或創(chuàng)下歷史新高。
不過(guò),創(chuàng)造歷史的英偉達(dá)并非高枕無(wú)憂。英偉達(dá)在AI計(jì)算的“壟斷”的現(xiàn)狀并不讓所有人都滿意,競(jìng)爭(zhēng)對(duì)手在竭力打破英偉達(dá)的統(tǒng)治地位,客戶也需要第二個(gè)AI芯片供應(yīng)源。
盡管英偉達(dá)的GPU有很多優(yōu)點(diǎn),不過(guò)它在用于AI時(shí)它可能耗電量太高且編程復(fù)雜。從創(chuàng)業(yè)公司到其他芯片制造商和科技巨頭,英偉達(dá)的競(jìng)爭(zhēng)對(duì)手層出不窮。
近期,OpenAI CEO奧爾特曼正在與中東阿布扎比G42基金、日本軟銀集團(tuán)等全球投資者籌集超過(guò)80億美元資金,成立一家全新AI 芯片公司,目標(biāo)是利用資金建立一個(gè)工廠網(wǎng)絡(luò)來(lái)制造芯片,直接對(duì)標(biāo)英偉達(dá)。
2月17日,業(yè)內(nèi)人士透露,日本投資界巨頭軟銀集團(tuán)創(chuàng)始人孫正義正在尋求籌集最高達(dá)1000億美元的資金,打造一家規(guī)模龐大的合資芯片公司,這家公司能夠與芯片設(shè)計(jì)部門Arm形成互補(bǔ)。
過(guò)去,AMD一直在進(jìn)行其新一代AI戰(zhàn)略規(guī)劃,包括并購(gòu)和部門重組等,但生成式AI的橫空出世導(dǎo)致該公司產(chǎn)品陣容進(jìn)一步擴(kuò)充:去年12月發(fā)布的MI300芯片專門面向復(fù)雜的AI大模型,配置了1530億個(gè)晶體管、192GB的內(nèi)存、每秒5.3TB的內(nèi)存帶寬,分別是英偉達(dá)最強(qiáng)AI芯片H100的大約2倍、2.4倍和1.6倍。
亞馬遜云科技也在自研芯片領(lǐng)域進(jìn)行持續(xù)投入,以提升客戶云上工作負(fù)載性價(jià)比。亞馬遜云科技很早就面向AI領(lǐng)域推出了Trainium訓(xùn)練芯片和Inferentia推理芯片兩個(gè)系列,并不斷更新迭代。
去年底推出Trainium2能夠通過(guò)云中擴(kuò)展和網(wǎng)絡(luò)互聯(lián)提供65exaflops的AI算力,數(shù)周時(shí)間即可完成3千億參數(shù)的大語(yǔ)言模型的訓(xùn)練。這些AI芯片已被使用在包括Anthropic等生成式AI領(lǐng)域的頭部企業(yè)當(dāng)中。
這些大廠不約而同地砸下重金,選擇自研AI芯片,透露出誰(shuí)都不想將科技的話語(yǔ)權(quán)和主導(dǎo)權(quán)交到芯片大廠的手中,只有處于“AI食物鏈”頂端,才有可能掌握通向未來(lái)的鑰匙。
研發(fā)為底,生態(tài)為徑
黃仁勛曾在很多地方有過(guò)這樣的表示:英偉達(dá)不是在銷售芯片,而是在銷售解決問(wèn)題的能力。
在這種產(chǎn)業(yè)生態(tài)共建的理念驅(qū)動(dòng)下,英偉達(dá)圍繞GPU打造了一個(gè)涵蓋硬件、軟件及開(kāi)發(fā)工具在內(nèi)的生態(tài)系統(tǒng)。
例如,英偉達(dá)在自動(dòng)駕駛領(lǐng)域的投資成果顯著,其Drive PX系列平臺(tái)以及后來(lái)推出的Drive AGX Orin系統(tǒng)級(jí)芯片,成為了眾多汽車制造商實(shí)現(xiàn)高級(jí)駕駛輔助系統(tǒng)(ADAS)和自動(dòng)駕駛的關(guān)鍵部件,這是底層技術(shù)創(chuàng)新與實(shí)際應(yīng)用場(chǎng)景深度融合的成功案例。
面對(duì)行業(yè)競(jìng)爭(zhēng),英偉達(dá)希望發(fā)揮整體的生態(tài)協(xié)作力量,共同為產(chǎn)業(yè)服務(wù),為市場(chǎng)服務(wù)。
英偉達(dá)與云計(jì)算“一哥”亞馬遜云科技的合作同樣成果不凡,從第一個(gè)GPU云實(shí)例到現(xiàn)在的Blackwell平臺(tái)解決方案,雙方的合作已經(jīng)超過(guò)13年??蛻艉芸炀湍茉趤嗰R遜云科技上使用基于NVIDIA GB200 Grace Blackwell Superchip和B100 Tensor Core GPUs的基礎(chǔ)設(shè)施。
英偉達(dá)的超強(qiáng)算力芯片系統(tǒng)與亞馬遜云科技強(qiáng)大的Elastic Fabric Adapte(EFA)網(wǎng)絡(luò)連接能力、高級(jí)虛擬化(Amazon Nitro System)和超大規(guī)模集群(Amazon EC2 UltraClusters)等領(lǐng)先技術(shù)的結(jié)合,使得客戶能夠更快更大規(guī)模且更安全地在云上構(gòu)建和運(yùn)行數(shù)萬(wàn)億參數(shù)的大語(yǔ)言模型。
在大模型研發(fā)領(lǐng)域,萬(wàn)億級(jí)參數(shù)規(guī)模此前還算是一道門檻。根據(jù)公開(kāi)的報(bào)道,去年年中發(fā)布的GPT4的模型參數(shù)是1.8萬(wàn)億,由8個(gè)220B模型組成;前不久發(fā)布的Claude3模型沒(méi)有公布參數(shù)規(guī)模,而馬斯克最新開(kāi)源的Grok大模型參數(shù)是3140億參數(shù)規(guī)模。
雙方此次合作,有望在加速萬(wàn)億級(jí)別大語(yǔ)言模型的研發(fā)方面,為生成式AI領(lǐng)域的突破提供新的可能。
英偉達(dá)自身的AI團(tuán)隊(duì)專門在亞馬遜云科技上構(gòu)建了Project Ceiba項(xiàng)目,以幫助其推動(dòng)未來(lái)生成式AI的創(chuàng)新。
Ceiba項(xiàng)目首次亮相是在2023年11月底亞馬遜云科技2023 re:Invent全球大會(huì)上,這是當(dāng)時(shí)英偉達(dá)與亞馬遜云科技合作建造的世界上最快的AI超級(jí)計(jì)算之一,當(dāng)時(shí)的計(jì)算性能為65 exaflops。
隨著B(niǎo)lackwell平臺(tái)加入Ceiba項(xiàng)目,為其帶來(lái)了7倍于原先的計(jì)算性能,現(xiàn)在,該AI超級(jí)計(jì)算機(jī)將能夠處理高達(dá)414 exaflops的AI計(jì)算量。
新的Ceiba項(xiàng)目擁有20,736顆B200 GPU的超級(jí)計(jì)算機(jī),采用新型NVIDIA GB200 NVL72系統(tǒng)構(gòu)建,該系統(tǒng)利用第五代NVLink技術(shù)連接10,368顆NVIDIA Grace CPU。
系統(tǒng)還通過(guò)亞馬遜云科技的第四代EFA網(wǎng)絡(luò)進(jìn)行擴(kuò)展,為每個(gè)Superchip提供高達(dá)800 Gbps的低延遲、高帶寬網(wǎng)絡(luò)吞吐量。
此外,亞馬遜云科技還計(jì)劃提供配備基于新的英偉達(dá)B100 GPU的Amazn EC2實(shí)例,并能夠在Amazon EC2 UltraClusters中進(jìn)行大規(guī)模部署。
此次合作被黃仁勛抱以更多期待:“人工智能正在以前所未有的速度推動(dòng)突破,導(dǎo)致新的應(yīng)用、商業(yè)模式和跨行業(yè)的創(chuàng)新。
英偉達(dá)與亞馬遜云科技的合作正在加速新的生成式AI能力的發(fā)展,并為客戶提供前所未有的計(jì)算能力,以推動(dòng)可能性的邊界?!?/p>
如此多的行業(yè),如此繁復(fù)的創(chuàng)新,英偉達(dá)正與其合作伙伴構(gòu)建起越來(lái)越強(qiáng)大的AI生態(tài),共同引領(lǐng)生成式AI的新紀(jì)元。用黃仁勛的話說(shuō),當(dāng)計(jì)算機(jī)圖形學(xué)、物理學(xué)、人工智能交匯,便衍生出NVIDIA的靈魂。
【關(guān)于科技云報(bào)道】
專注于原創(chuàng)的企業(yè)級(jí)內(nèi)容行家——科技云報(bào)道。成立于2015年,是前沿企業(yè)級(jí)IT領(lǐng)域Top10媒體。獲工信部權(quán)威認(rèn)可,可信云、全球云計(jì)算大會(huì)官方指定傳播媒體之一。深入原創(chuàng)報(bào)道云計(jì)算、大數(shù)據(jù)、人工智能、區(qū)塊鏈等領(lǐng)域。
免責(zé)聲明:此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章,所有文字和圖片版權(quán)歸作者所有,且僅代表作者個(gè)人觀點(diǎn),與極客網(wǎng)無(wú)關(guān)。文章僅供讀者參考,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱:editor@fromgeek.com。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長(zhǎng)
- 算力荒緩解,自主化智算還有必要嗎?
- 波司登千元鵝絨褲僅3克鵝絨,警惕被“國(guó)貨品牌”割韭菜
- 中國(guó)電車進(jìn)入10萬(wàn)級(jí)時(shí)代,2025年決生死,但日本車先頂不住了
- 中國(guó)存儲(chǔ)芯片大舉圍剿美日韓芯片,外媒確認(rèn)在技術(shù)上進(jìn)一步突破
- 谷歌成為手機(jī)市場(chǎng)的殺手,國(guó)產(chǎn)手機(jī)或被迫擁護(hù)國(guó)產(chǎn)操作系統(tǒng)
- 折疊屏2024的新東西、好東西、舊東西
- 董明珠與小米的二次戰(zhàn)爭(zhēng)
- 芯片不賣中國(guó),美芯無(wú)處賣了,本來(lái)不要的市場(chǎng)偷偷地賣,后悔莫及
- 僅售999元 月底開(kāi)售 閃極打響AI眼鏡量產(chǎn)發(fā)令槍
- 蘿卜快跑走紅、滴滴加碼,中國(guó)Robotaxi大戰(zhàn)升級(jí)
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。