在當(dāng)今的計(jì)算平臺上訓(xùn)練最大的 AI 模型可能需要幾個(gè)月的時(shí)間。NVIDIA 的新產(chǎn)品旨在解決該問題。

在其年度 GTC 會議上，NVIDIA 宣布了一系列新的 AI 專用 GPU 和 CPU，包括 Hopper H100 GPU，他們聲稱這將大大加快企業(yè)部署最復(fù)雜的 AI 應(yīng)用的方式，例如 BERT 和 GPT-3使用Transformer模型 。但該公告引出了一個(gè)問題：圍繞人工智能的所有挑戰(zhàn)是否可以簡單地通過更多的計(jì)算能力來解決？NVIDIA聚焦Transformer問題

在 NVIDIA 的公告中，Dave Salvator 寫道：“最大的 AI 模型可能需要幾個(gè)月的時(shí)間才能在當(dāng)今的計(jì)算平臺上進(jìn)行訓(xùn)練。這對企業(yè)來說太慢了?！边@種巨大的訓(xùn)練滯后背后的主要原因是什么？這些 Transformer 模型的絕對復(fù)雜性最初是為自然語言處理 (NLP) 應(yīng)用而開始的，但現(xiàn)在已被用于其他復(fù)雜用途，例如用于自動駕駛汽車的計(jì)算機(jī)視覺。這些模型及其訓(xùn)練集可以達(dá)到數(shù)十億個(gè)參數(shù)，所有這些參數(shù)都需要經(jīng)過計(jì)算才能將看似隨機(jī)的數(shù)據(jù)轉(zhuǎn)化為計(jì)算機(jī)智能。英偉達(dá)的新芯片擁有 800 億個(gè)晶體管，并且基于臺積電的 4nm 工藝，但英偉達(dá)表示，這款新芯片的最大變化實(shí)際上在于它如何利用一種新的 8 位浮點(diǎn)數(shù)據(jù)格式，稱為 FP8。因?yàn)?AI 訓(xùn)練取決于它可以多快地處理帶有小數(shù)部分的浮點(diǎn)數(shù)，所以能夠混合 8 位精度和 16 位“半”精度 (FP16) 是一個(gè)巨大的優(yōu)勢。這些芯片還可以在特殊情況下使用 32 位“單”精度 (FP32) 和 64 位“雙”精度 (FP64)。將其與將許多 Hopper H100 連接在一起的新數(shù)據(jù)中心硬件相結(jié)合，NVIDIA 似乎有信心在參數(shù)競賽中領(lǐng)先數(shù)萬億。Salvator 寫道：“當(dāng)與 Hopper 架構(gòu)中的其他新功能（例如 NVLink Switch 系統(tǒng)，它提供節(jié)點(diǎn)之間的直接高速互連）相結(jié)合時(shí)，H100 加速的服務(wù)器集群將能夠訓(xùn)練幾乎不可能訓(xùn)練的巨大網(wǎng)絡(luò)以企業(yè)所需的速度?！盢VIDIA 對具有 3950 億個(gè)參數(shù)的混合專家 (MoE) Transformer Switch-XXL 變體進(jìn)行的測試顯示“更高的吞吐量和 9 倍的訓(xùn)練時(shí)間減少，從 7 天縮短到 20 小時(shí)”。更大的人工智能總是更好嗎？

并非所有人都同意。馬薩諸塞大學(xué)研究人員 2019 年的一項(xiàng)研究發(fā)現(xiàn)，訓(xùn)練一個(gè)具有 213M 參數(shù)的TransformerAI 模型需要 84 小時(shí)才能完成，并產(chǎn)生 626,155 磅的二氧化碳當(dāng)量，這大致相當(dāng)于 17 個(gè)美國人一年的消耗量.雖然一開始可能看起來不多，但請記住，GPT-3 使用了高達(dá) 160-1750 億個(gè)參數(shù)，具體取決于您詢問的對象。谷歌已經(jīng)使用 1.4 萬億個(gè)參數(shù)訓(xùn)練了一個(gè)新的語言模型，在與 Wired 交談時(shí)，Cerebras 的創(chuàng)始人兼首席執(zhí)行官 Andrew Feldman 分享了一個(gè)信息，即 OpenAI 的下一次迭代 GPT-4 將擁有超過 100 萬億個(gè)參數(shù)。我們將在此處省略計(jì)算，但很容易看出 AI 應(yīng)用如何產(chǎn)生巨大的環(huán)境影響，而執(zhí)行工作的處理器的速度和可訪問性只會加劇這種影響。但對于那些比溫室氣體更注重成本的人，馬薩諸塞大學(xué)的同一項(xiàng)研究發(fā)現(xiàn)，同樣的Transformer訓(xùn)練僅在云計(jì)算成本方面的成本也在 942,973 美元到 3,201,722 美元之間。在數(shù)百個(gè) H100 GPU 引領(lǐng)潮流的情況下，這些數(shù)字如何變化尚無定論，但人工智能訓(xùn)練的整體計(jì)算使用量肯定會在未來很多年擴(kuò)大。 NVIDIA 正在推廣其新芯片架構(gòu)作為新用例的首選解決方案，例如組學(xué)（基因組學(xué)或藥物發(fā)現(xiàn)的生物學(xué)研究）、自主機(jī)器人的路線優(yōu)化，甚至調(diào)整 SQL 查詢以縮短執(zhí)行時(shí)間。另一方面，研究人員呼吁進(jìn)行更多的成本效益（準(zhǔn)確性）分析，更公平地訪問計(jì)算資源，以及更大的行業(yè)推動優(yōu)化算法以使用盡可能少的計(jì)算能力。

但是，在具有環(huán)保意識的大學(xué)研究人員和戴著有色眼鏡投入數(shù)十億美元人工智能研究的科技公司之間的斗爭中——更不用說數(shù)以萬億計(jì)的參數(shù)了——我們可能會繼續(xù)大芯片、大算法和大承諾的循環(huán)。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。