科技云報(bào)道原創(chuàng)。
近兩個(gè)月來,全世界的網(wǎng)友們都在興致勃勃的“調(diào)教”ChatGPT,但第一個(gè)受不了的卻是ChatGPT的所有者。
為了更長遠(yuǎn)的發(fā)展,OpenAI宣布了付費(fèi)訂閱版ChatGPT Plus,每月收費(fèi)20美元。
雖然OpenAI表示,將持續(xù)提供免費(fèi)版,并且收費(fèi)項(xiàng)目也將更好的“幫助盡可能多的人使用免費(fèi)服務(wù)”。但是《紐約時(shí)報(bào)》也指出“在高峰時(shí)段,免費(fèi)版訪問人數(shù)將受到限制?!?/p>
顯然,收費(fèi)會(huì)是ChatGPT這類AI服務(wù)長久發(fā)展的必然選擇。
究其根源,在于ChatGPT“越來越聰明”的背后,需要龐大的費(fèi)用支撐。其中,算力成本是最重要的,也是最不能偷工減料的一部分。
那么,ChatGPT到底需要多少算力來支撐?
“吞金獸”ChatGPT的算力消耗
ChatGPT對(duì)算力的消耗可以分為三個(gè)主要場景:
一是模型預(yù)訓(xùn)練過程,這是ChatGPT消耗算力的最主要場景。
ChatGPT采用預(yù)訓(xùn)練語言模型,在Transformer的模型架構(gòu)下,語言預(yù)訓(xùn)練過程可以根據(jù)上下文一次處理所有輸入,實(shí)現(xiàn)大規(guī)模并行計(jì)算。
通過堆疊多個(gè)解碼模塊,模型的層數(shù)規(guī)模也會(huì)隨著提升,可承載的參數(shù)量同步增長。與之相對(duì)應(yīng)的,模型訓(xùn)練所需要消耗的算力也就越大。
據(jù)OpenAI團(tuán)隊(duì)發(fā)表于2020年的論文《Language Models are Few-Shot Learners》,訓(xùn)練一次1746億參數(shù)的 GPT-3模型需要的算力約為3640 PFlop/s-day。
即假如每秒計(jì)算一千萬億次,也需要計(jì)算3640天。
考慮到ChatGPT訓(xùn)練所用的模型是基于GPT-3.5模型微調(diào)而來,GPT-3.5模型增加了參數(shù)量和訓(xùn)練樣本量,包含超過1746億個(gè)參數(shù),那么預(yù)估訓(xùn)練一次ChatGPT所需算力至少需要約3640 PFlop/s-day的算力。
東吳證券研報(bào)分析認(rèn)為,ChatGPT的優(yōu)化主要來自模型的增大,以及因此帶來的算力增加。
GPT、GPT-2和GPT-3的參數(shù)量從1.17億增加到1750億,預(yù)訓(xùn)練數(shù)據(jù)量從5GB增加到45TB,其中GPT-3訓(xùn)練單次的成本就高達(dá)460萬美元。
同時(shí),模型開發(fā)過程很難一次取得成功,整個(gè)開發(fā)階段可能需要進(jìn)行多次預(yù)訓(xùn)練過程,因此對(duì)于算力的需求是持續(xù)的。
此外,從基礎(chǔ)大模型向特定場景遷移的過程,如基于ChatGPT構(gòu)建醫(yī)療AI大模型,需要使用特定領(lǐng)域數(shù)據(jù)進(jìn)行模型二次訓(xùn)練,同樣會(huì)增加訓(xùn)練算力需求。
二是模型迭代過程。
從模型迭代的角度來看,ChatGPT模型并不是靜態(tài)的,而是需要不斷進(jìn)行模型調(diào)優(yōu),以確保模型處于最佳應(yīng)用狀態(tài)。
這一過程中,一方面是需要開發(fā)者對(duì)模型參數(shù)進(jìn)行調(diào)整,確保輸出內(nèi)容不是有害和失真的;另一方面,需要基于用戶反饋和PPO策略,對(duì)模型進(jìn)行大規(guī)?;蛐∫?guī)模的迭代訓(xùn)練。
因此,模型調(diào)優(yōu)同樣會(huì)為ChatGPT帶來算力成本,具體算力需求和成本金額取決于模型的迭代速度。
三是日常運(yùn)營過程。
在日常運(yùn)營過程中,用戶交互帶來的數(shù)據(jù)處理需求同樣也是一筆不小的算力開支。考慮到ChatGPT面向全球大眾用戶,用的人越多,帶寬消耗越大,服務(wù)器成本只會(huì)更高。
據(jù)SimilarWeb數(shù)據(jù),2023年1月ChatGPT官網(wǎng)總訪問量為6.16億次。
據(jù)Fortune雜志,每次用戶與ChatGPT互動(dòng),產(chǎn)生的算力云服務(wù)成本約0.01美元。
基于此,ChatGPT單月運(yùn)營對(duì)應(yīng)成本約616萬美元。
據(jù)上文,我們已知訓(xùn)練一次1746億參數(shù)的GPT-3模型需要3640 PFlop/s-day的算力及460萬美元的成本,假設(shè)單位算力成本固定,測(cè)算ChatGPT單月運(yùn)營所需算力約 4874.4PFlop/s-day。
直觀對(duì)比,如果使用總投資30.2億、算力500P的數(shù)據(jù)中心來支撐ChatGPT的運(yùn)行,至少需要7-8個(gè)這樣的數(shù)據(jù)中心,基礎(chǔ)設(shè)施的投入都是以百億記的。
當(dāng)然,基礎(chǔ)設(shè)施可以通過租用的方式來解決,但算力需求帶來的本壓力依然巨大。
隨著國內(nèi)外廠商相繼入局研發(fā)類似大模型,將進(jìn)一步加大對(duì)算力的需求。
AI算力霸權(quán)時(shí)代的到來
模型算力需求增速超越芯片性能增速,算力霸權(quán)時(shí)代或?qū)⒌絹怼?/p>
據(jù)OpenAI測(cè)算,自2012年以來,全球頭部AI模型訓(xùn)練算力需求3-4個(gè)月翻一番,每年頭部訓(xùn)練模型所需算力增長幅度高達(dá)10倍。
而摩爾定律認(rèn)為,芯片計(jì)算性能大約每18-24個(gè)月翻一番。
數(shù)據(jù)顯示,從2012年到2018年,訓(xùn)練AI所耗費(fèi)的算力增長了30萬倍,而摩爾定律在相同時(shí)間只有7倍的增長。
因此,AI訓(xùn)練模型算力需求增長與芯片計(jì)算性能增長之間的不匹配,或?qū)韺?duì)算力基礎(chǔ)設(shè)施供給需求的快速增長。
考慮到算力對(duì)于AI模型訓(xùn)練效果的關(guān)鍵性作用,擁有更豐富算力資源的模型開發(fā)者,或?qū)⒛軌蛴?xùn)練出更優(yōu)秀的AI模型。
所以現(xiàn)在有一種說法:AI進(jìn)入了新的算力霸權(quán)時(shí)代,大家要用千倍、萬倍的算力才能訓(xùn)練出世界上最好的算法。
那么無論是誰參與進(jìn)來,都需要回答一個(gè)問題:算力成本怎么解決?
在中國,這個(gè)答案就藏在國家如火如荼推進(jìn)的“東數(shù)西算”工程里。
數(shù)據(jù)顯示,我國算力產(chǎn)業(yè)規(guī)??焖僭鲩L,近五年平均增速超過30%,算力規(guī)模排名全球第二。
但在發(fā)展的過程中仍面臨人均算力尚低、算力隨需處理的需求難以滿足、算力應(yīng)用廣度和深度不夠等問題。
因此,國家“東數(shù)西算”工程通過構(gòu)建全國一體化的新型算力網(wǎng)絡(luò),優(yōu)化數(shù)據(jù)中心建設(shè)布局,將東部算力需求有序引導(dǎo)到西部,利用西部的資源優(yōu)勢(shì),為數(shù)字中國的發(fā)展提供低碳、低成本的優(yōu)質(zhì)算力。
對(duì)于AI產(chǎn)業(yè)來說,“東數(shù)西算”也可以成為“東數(shù)西訓(xùn)”,即龐大的訓(xùn)練算力需求完全可以轉(zhuǎn)移到算力成本更低,同時(shí)規(guī)模更具優(yōu)勢(shì)的西部數(shù)據(jù)中心中進(jìn)行。
對(duì)應(yīng)的,這些承載智能訓(xùn)練的數(shù)據(jù)中心本身,也將為更好的適應(yīng)智能訓(xùn)練需求進(jìn)行針對(duì)性改造,比如在能源供給、散熱結(jié)構(gòu)、機(jī)柜形態(tài)等方面更適合使用了大量智能訓(xùn)練芯片的服務(wù)器等。
這也為數(shù)據(jù)中心未來發(fā)展提出了新的思路。
數(shù)據(jù)中心建設(shè)將告別千篇一律的通用時(shí)代,進(jìn)入以場景為指引、以應(yīng)用為導(dǎo)向的“專用”時(shí)代,“東數(shù)西訓(xùn)”、“東數(shù)西渲”、“東數(shù)西存”等應(yīng)用將成為主流方向。
目前,我國算力產(chǎn)業(yè)仍在高速增長。
據(jù)IDC與浪潮信息聯(lián)合發(fā)布的《2022-2023中國人工智能計(jì)算力發(fā)展評(píng)估報(bào)告》顯示,相較于2020年我國135EFLOPS的算力總規(guī)模,2022年我國智能算力規(guī)模近乎翻倍,達(dá)到268EFLOPS,超過通用算力規(guī)模;預(yù)計(jì)未來5年我國智能算力規(guī)模的年復(fù)合增長率將達(dá)52.3%。
未來,我國還應(yīng)在算力方面進(jìn)一步加強(qiáng)超算中心、智算中心和邊緣數(shù)據(jù)中心建設(shè),不斷滿足政府、行業(yè)、企業(yè)甚至個(gè)人等多樣化的智能場景需要,以算力賦能智慧城市、智慧醫(yī)療、智慧農(nóng)業(yè)等千行百業(yè)的高質(zhì)量發(fā)展。
不僅如此,大力加強(qiáng)自主可控高端芯片生產(chǎn)能力,爭取在量子芯片領(lǐng)域?qū)崿F(xiàn)換道超車,加強(qiáng)算力人才培養(yǎng),同樣是保持我國AI算力領(lǐng)先的重要手段。
來源:科技云報(bào)道
免責(zé)聲明:此文內(nèi)容為第三方自媒體作者發(fā)布的觀察或評(píng)論性文章,所有文字和圖片版權(quán)歸作者所有,且僅代表作者個(gè)人觀點(diǎn),與極客網(wǎng)無關(guān)。文章僅供讀者參考,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。投訴郵箱:editor@fromgeek.com。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 折疊屏2024的新東西、好東西、舊東西
- “客服來電”懷疑有詐?抖音上線“驗(yàn)證助手”幫助用戶防范詐騙
- 葉國富觀點(diǎn)很精彩,奈何名創(chuàng)優(yōu)品說得好聽、做得難看?
- 算力荒緩解,自主化智算還有必要嗎?
- 波司登千元鵝絨褲僅3克鵝絨,警惕被“國貨品牌”割韭菜
- 中國電車進(jìn)入10萬級(jí)時(shí)代,2025年決生死,但日本車先頂不住了
- 谷歌成為手機(jī)市場的殺手,國產(chǎn)手機(jī)或被迫擁護(hù)國產(chǎn)操作系統(tǒng)
- 董明珠與小米的二次戰(zhàn)爭
- 芯片不賣中國,美芯無處賣了,本來不要的市場偷偷地賣,后悔莫及
- 僅售999元 月底開售 閃極打響AI眼鏡量產(chǎn)發(fā)令槍
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。