精品国产亚洲一区二区三区|亚洲国产精彩中文乱码AV|久久久久亚洲AV综合波多野结衣|漂亮少妇各种调教玩弄在线

<blockquote id="ixlwe"><option id="ixlwe"></option></blockquote>
  • <span id="ixlwe"></span>

  • <abbr id="ixlwe"></abbr>

    “吞金獸”ChatGPT背后:AI算力告急!

    科技云報道原創(chuàng)。

    近兩個月來,全世界的網(wǎng)友們都在興致勃勃的“調(diào)教”ChatGPT,但第一個受不了的卻是ChatGPT的所有者。

    為了更長遠的發(fā)展,OpenAI宣布了付費訂閱版ChatGPT Plus,每月收費20美元。

    雖然OpenAI表示,將持續(xù)提供免費版,并且收費項目也將更好的“幫助盡可能多的人使用免費服務(wù)”。但是《紐約時報》也指出“在高峰時段,免費版訪問人數(shù)將受到限制?!?/p>

    顯然,收費會是ChatGPT這類AI服務(wù)長久發(fā)展的必然選擇。

    究其根源,在于ChatGPT“越來越聰明”的背后,需要龐大的費用支撐。其中,算力成本是最重要的,也是最不能偷工減料的一部分。

    那么,ChatGPT到底需要多少算力來支撐?

    “吞金獸”ChatGPT的算力消耗

    ChatGPT對算力的消耗可以分為三個主要場景:

    一是模型預(yù)訓(xùn)練過程,這是ChatGPT消耗算力的最主要場景。

    ChatGPT采用預(yù)訓(xùn)練語言模型,在Transformer的模型架構(gòu)下,語言預(yù)訓(xùn)練過程可以根據(jù)上下文一次處理所有輸入,實現(xiàn)大規(guī)模并行計算。

    通過堆疊多個解碼模塊,模型的層數(shù)規(guī)模也會隨著提升,可承載的參數(shù)量同步增長。與之相對應(yīng)的,模型訓(xùn)練所需要消耗的算力也就越大。

    據(jù)OpenAI團隊發(fā)表于2020年的論文《Language Models are Few-Shot Learners》,訓(xùn)練一次1746億參數(shù)的 GPT-3模型需要的算力約為3640 PFlop/s-day。

    即假如每秒計算一千萬億次,也需要計算3640天。

    考慮到ChatGPT訓(xùn)練所用的模型是基于GPT-3.5模型微調(diào)而來,GPT-3.5模型增加了參數(shù)量和訓(xùn)練樣本量,包含超過1746億個參數(shù),那么預(yù)估訓(xùn)練一次ChatGPT所需算力至少需要約3640 PFlop/s-day的算力。

    東吳證券研報分析認為,ChatGPT的優(yōu)化主要來自模型的增大,以及因此帶來的算力增加。

    GPT、GPT-2和GPT-3的參數(shù)量從1.17億增加到1750億,預(yù)訓(xùn)練數(shù)據(jù)量從5GB增加到45TB,其中GPT-3訓(xùn)練單次的成本就高達460萬美元。

    同時,模型開發(fā)過程很難一次取得成功,整個開發(fā)階段可能需要進行多次預(yù)訓(xùn)練過程,因此對于算力的需求是持續(xù)的。

    此外,從基礎(chǔ)大模型向特定場景遷移的過程,如基于ChatGPT構(gòu)建醫(yī)療AI大模型,需要使用特定領(lǐng)域數(shù)據(jù)進行模型二次訓(xùn)練,同樣會增加訓(xùn)練算力需求。

    二是模型迭代過程。

    從模型迭代的角度來看,ChatGPT模型并不是靜態(tài)的,而是需要不斷進行模型調(diào)優(yōu),以確保模型處于最佳應(yīng)用狀態(tài)。

    這一過程中,一方面是需要開發(fā)者對模型參數(shù)進行調(diào)整,確保輸出內(nèi)容不是有害和失真的;另一方面,需要基于用戶反饋和PPO策略,對模型進行大規(guī)?;蛐∫?guī)模的迭代訓(xùn)練。

    因此,模型調(diào)優(yōu)同樣會為ChatGPT帶來算力成本,具體算力需求和成本金額取決于模型的迭代速度。

    三是日常運營過程。

    在日常運營過程中,用戶交互帶來的數(shù)據(jù)處理需求同樣也是一筆不小的算力開支??紤]到ChatGPT面向全球大眾用戶,用的人越多,帶寬消耗越大,服務(wù)器成本只會更高。

    據(jù)SimilarWeb數(shù)據(jù),2023年1月ChatGPT官網(wǎng)總訪問量為6.16億次。

    據(jù)Fortune雜志,每次用戶與ChatGPT互動,產(chǎn)生的算力云服務(wù)成本約0.01美元。

    基于此,ChatGPT單月運營對應(yīng)成本約616萬美元。

    據(jù)上文,我們已知訓(xùn)練一次1746億參數(shù)的GPT-3模型需要3640 PFlop/s-day的算力及460萬美元的成本,假設(shè)單位算力成本固定,測算ChatGPT單月運營所需算力約 4874.4PFlop/s-day。

    直觀對比,如果使用總投資30.2億、算力500P的數(shù)據(jù)中心來支撐ChatGPT的運行,至少需要7-8個這樣的數(shù)據(jù)中心,基礎(chǔ)設(shè)施的投入都是以百億記的。

    當然,基礎(chǔ)設(shè)施可以通過租用的方式來解決,但算力需求帶來的本壓力依然巨大。

    隨著國內(nèi)外廠商相繼入局研發(fā)類似大模型,將進一步加大對算力的需求。

    AI算力霸權(quán)時代的到來

    模型算力需求增速超越芯片性能增速,算力霸權(quán)時代或?qū)⒌絹怼?/p>

    據(jù)OpenAI測算,自2012年以來,全球頭部AI模型訓(xùn)練算力需求3-4個月翻一番,每年頭部訓(xùn)練模型所需算力增長幅度高達10倍。

    而摩爾定律認為,芯片計算性能大約每18-24個月翻一番。

    數(shù)據(jù)顯示,從2012年到2018年,訓(xùn)練AI所耗費的算力增長了30萬倍,而摩爾定律在相同時間只有7倍的增長。

    因此,AI訓(xùn)練模型算力需求增長與芯片計算性能增長之間的不匹配,或?qū)韺λ懔A(chǔ)設(shè)施供給需求的快速增長。

    考慮到算力對于AI模型訓(xùn)練效果的關(guān)鍵性作用,擁有更豐富算力資源的模型開發(fā)者,或?qū)⒛軌蛴?xùn)練出更優(yōu)秀的AI模型。

    所以現(xiàn)在有一種說法:AI進入了新的算力霸權(quán)時代,大家要用千倍、萬倍的算力才能訓(xùn)練出世界上最好的算法。

    那么無論是誰參與進來,都需要回答一個問題:算力成本怎么解決?

    在中國,這個答案就藏在國家如火如荼推進的“東數(shù)西算”工程里。

    數(shù)據(jù)顯示,我國算力產(chǎn)業(yè)規(guī)??焖僭鲩L,近五年平均增速超過30%,算力規(guī)模排名全球第二。

    但在發(fā)展的過程中仍面臨人均算力尚低、算力隨需處理的需求難以滿足、算力應(yīng)用廣度和深度不夠等問題。

    因此,國家“東數(shù)西算”工程通過構(gòu)建全國一體化的新型算力網(wǎng)絡(luò),優(yōu)化數(shù)據(jù)中心建設(shè)布局,將東部算力需求有序引導(dǎo)到西部,利用西部的資源優(yōu)勢,為數(shù)字中國的發(fā)展提供低碳、低成本的優(yōu)質(zhì)算力。

    對于AI產(chǎn)業(yè)來說,“東數(shù)西算”也可以成為“東數(shù)西訓(xùn)”,即龐大的訓(xùn)練算力需求完全可以轉(zhuǎn)移到算力成本更低,同時規(guī)模更具優(yōu)勢的西部數(shù)據(jù)中心中進行。

    對應(yīng)的,這些承載智能訓(xùn)練的數(shù)據(jù)中心本身,也將為更好的適應(yīng)智能訓(xùn)練需求進行針對性改造,比如在能源供給、散熱結(jié)構(gòu)、機柜形態(tài)等方面更適合使用了大量智能訓(xùn)練芯片的服務(wù)器等。

    這也為數(shù)據(jù)中心未來發(fā)展提出了新的思路。

    數(shù)據(jù)中心建設(shè)將告別千篇一律的通用時代,進入以場景為指引、以應(yīng)用為導(dǎo)向的“專用”時代,“東數(shù)西訓(xùn)”、“東數(shù)西渲”、“東數(shù)西存”等應(yīng)用將成為主流方向。

    目前,我國算力產(chǎn)業(yè)仍在高速增長。

    據(jù)IDC與浪潮信息聯(lián)合發(fā)布的《2022-2023中國人工智能計算力發(fā)展評估報告》顯示,相較于2020年我國135EFLOPS的算力總規(guī)模,2022年我國智能算力規(guī)模近乎翻倍,達到268EFLOPS,超過通用算力規(guī)模;預(yù)計未來5年我國智能算力規(guī)模的年復(fù)合增長率將達52.3%。

    未來,我國還應(yīng)在算力方面進一步加強超算中心、智算中心和邊緣數(shù)據(jù)中心建設(shè),不斷滿足政府、行業(yè)、企業(yè)甚至個人等多樣化的智能場景需要,以算力賦能智慧城市、智慧醫(yī)療、智慧農(nóng)業(yè)等千行百業(yè)的高質(zhì)量發(fā)展。

    不僅如此,大力加強自主可控高端芯片生產(chǎn)能力,爭取在量子芯片領(lǐng)域?qū)崿F(xiàn)換道超車,加強算力人才培養(yǎng),同樣是保持我國AI算力領(lǐng)先的重要手段。

    極客網(wǎng)企業(yè)會員

    免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

    2023-02-15
    “吞金獸”ChatGPT背后:AI算力告急!
    “吞金獸”ChatGPT背后:AI算力告急!

    長按掃碼 閱讀全文