NVIDIA GH200 Grace Hopper超級(jí)芯片首次亮相 MLPerf 行業(yè)基準(zhǔn)測(cè)試,其運(yùn)行了所有數(shù)據(jù)中心推理測(cè)試,進(jìn)一步擴(kuò)大了NVIDIA H100 Tensor Core GPU的領(lǐng)先優(yōu)勢(shì)。
總體測(cè)試結(jié)果表明,NVIDIA AI 平臺(tái)無(wú)論是在云端還是網(wǎng)絡(luò)邊緣均展現(xiàn)出卓越的性能和通用性。
此外,NVIDIA宣布推出全新推理軟件,該軟件將為用戶帶來(lái)性能、能效和總體擁有成本的大幅提升。
GH200 超級(jí)芯片在 MLPerf 一騎絕塵
GH200將一顆Hopper GPU和一顆Grace CPU連接到一個(gè)超級(jí)芯片中。這種組合提供了更大內(nèi)存、更快帶寬,能夠在CPU和GPU之間自動(dòng)切換計(jì)算所需要的資源,實(shí)現(xiàn)性能最優(yōu)化。
具體而言,內(nèi)置8顆H100 GPU 的 NVIDIA HGX H100系統(tǒng),在本輪每項(xiàng)MLPerf推理測(cè)試中均實(shí)現(xiàn)了最高吞吐量。
Grace Hopper 超級(jí)芯片和H100 GPU在所有MLPerf數(shù)據(jù)中心測(cè)試中均處于領(lǐng)先地位,包括針對(duì)計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別和醫(yī)學(xué)成像的推理,以及應(yīng)用于生成式AI的推薦系統(tǒng)和大語(yǔ)言模型(LLM) 等對(duì)性能要求更高的用例。
總體而言,此次測(cè)試結(jié)果延續(xù)了自2018年MLPerf基準(zhǔn)測(cè)試推出以來(lái),NVIDIA在每一輪AI訓(xùn)練和推理中都處于領(lǐng)先性能的紀(jì)錄。
最新一輪MLPerf 測(cè)試包括一項(xiàng)更新的推薦系統(tǒng)測(cè)試,并新增首個(gè)GPT-J上的推理基準(zhǔn)測(cè)試。GPT-J是一個(gè)由60億個(gè)參數(shù)組成的大語(yǔ)言模型(LLM),而AI模型的大小通常根據(jù)它有多少參數(shù)來(lái)衡量。
TensorRT-LLM 大幅提升推理能力
為了應(yīng)對(duì)各類復(fù)雜的工作負(fù)載,NVIDIA開(kāi)發(fā)了一款能夠優(yōu)化推理的生成式AI軟件——TensorRT-LLM。該開(kāi)源庫(kù)使客戶能夠在不增加成本的情況下將現(xiàn)有H100 GPU的推理性能提升兩倍以上。由于時(shí)間原因,TensorRT-LLM沒(méi)有參加8月的MLPerf提交。
NVIDIA的內(nèi)部測(cè)試表明, 在運(yùn)行 GPT-J 6B 模型時(shí),相較于沒(méi)有使用TensorRT-LLM的上一代GPU,在H100 GPU上使用TensorRT-LLM能夠?qū)崿F(xiàn)高達(dá)8倍的性能提升。
該軟件始于NVIDIA在對(duì)Meta、AnyScale、Cohere、Deci、Grammarly、Mistral AI、MosaicML(現(xiàn)為Databricks的一部分)、OctoML、Tabnine和Together AI等領(lǐng)先公司進(jìn)行加速和優(yōu)化LLM推理時(shí)所做的工作。
MosaicML在TensorRT-LLM 的基礎(chǔ)上添加了所需的功能,并將這些功能集成到他們現(xiàn)有的服務(wù)堆棧中。Databricks工程副總裁Naveen Rao表示:“這已成為相當(dāng)輕而易舉的事情。”
Rao補(bǔ)充說(shuō):“TensorRT-LLM 簡(jiǎn)單易用、功能豐富且高效。它為正在使用NVIDIA GPU的 LLM服務(wù)提供了最先進(jìn)的性能,并使我們能夠?qū)⒐?jié)省的成本回饋給我們的客戶。”
TensorRT-LLM 是NVIDIA全棧AI平臺(tái)持續(xù)創(chuàng)新的最新實(shí)例。這類持續(xù)的軟件進(jìn)步為用戶帶來(lái)了無(wú)需額外成本即可實(shí)現(xiàn)隨著時(shí)間不斷提升的性能,并且廣泛適用于多樣化的AI工作負(fù)載。
L4為主流服務(wù)器增強(qiáng)推理能力
在最新MLPerf基準(zhǔn)測(cè)試中,NVIDIA L4 GPU 運(yùn)行了所有工作負(fù)載,并全面展現(xiàn)了出色的性能。
例如,在緊湊型72W PCIe 加速器中運(yùn)行時(shí),L4 GPU的性能比功耗超出其近5倍的CPU提高了6倍。
此外,L4 GPU具有專用媒體引擎,與CUDA軟件搭配使用,在NVIDIA的測(cè)試中為計(jì)算機(jī)視覺(jué)提供了高達(dá)120倍的加速。
谷歌云和許多系統(tǒng)制造商現(xiàn)已支持L4 GPU,為從消費(fèi)互聯(lián)網(wǎng)服務(wù)到藥物研發(fā)各行業(yè)的客戶提供服務(wù)。
大幅提升邊緣性能
此外,NVIDIA采用了一種全新模型壓縮技術(shù)來(lái)展示在一個(gè)L4 GPU上運(yùn)行BERT LLM的性能提升高達(dá)4.7倍。該結(jié)果體現(xiàn)在MLPerf的“開(kāi)放分區(qū)”中,這個(gè)類別旨在展示新能力。
這項(xiàng)技術(shù)有望應(yīng)用于所有AI工作負(fù)載。它尤其適用于在空間和功耗受限的邊緣設(shè)備上運(yùn)行模型。
在另一個(gè)體現(xiàn)邊緣計(jì)算領(lǐng)導(dǎo)力的例證中,NVIDIA Jetson Orin模塊化系統(tǒng)將邊緣AI和機(jī)器人應(yīng)用場(chǎng)景中常見(jiàn)的計(jì)算機(jī)視覺(jué)用例——目標(biāo)檢測(cè)的性能比上一輪測(cè)試提升高達(dá)84%。
Jetson Orin性能的提升得益于軟件可以充分利用該芯片的最新核心,如一個(gè)可編程視覺(jué)加速器、一顆NVIDIA Ampere架構(gòu)GPU和一個(gè)專用深度學(xué)習(xí)加速器等。
靈活的性能與龐大的生態(tài)
MLPerf基準(zhǔn)測(cè)試是透明且客觀的,因此用戶可以根據(jù)其結(jié)果做出明智的購(gòu)買(mǎi)決定。該測(cè)試還涵蓋了豐富的用例和場(chǎng)景,能夠讓用戶獲得可靠且可以靈活部署的性能。
本輪提交測(cè)試結(jié)果的合作伙伴包括微軟 Azure和Oracle Cloud Infrastructure 等云服務(wù)提供商以及華碩、Connect Tech、戴爾科技、富士通、技嘉、惠與、聯(lián)想、QCT、超微等系統(tǒng)制造商。
總體而言,MLPerf 已得到70多家機(jī)構(gòu)的支持,包括阿里巴巴、Arm、思科、谷歌、哈佛大學(xué)、英特爾、Meta、微軟和多倫多大學(xué)等。
請(qǐng)閱讀技術(shù)博客,詳細(xì)了解我們?nèi)绾螌?shí)現(xiàn)這些最新的成果。
NVIDIA在基準(zhǔn)測(cè)試中使用的所有軟件均可從 MLPerf 軟件庫(kù)中獲得,因此每個(gè)人都能實(shí)現(xiàn)全球領(lǐng)先的結(jié)果。我們不斷將這些優(yōu)化措施整合到NVIDIA NGC軟件中心的容器中供GPU應(yīng)用使用。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長(zhǎng)
- 一步快、步步快:中東為全球5G-A成功提供范本
- 串行光纖轉(zhuǎn)換器在增強(qiáng)網(wǎng)絡(luò)安全中的作用
- 物聯(lián)網(wǎng)部署有哪些隱性成本
- 云遣返:工作負(fù)載分配的關(guān)鍵戰(zhàn)略考慮因素
- 智能工業(yè):工業(yè)領(lǐng)域的數(shù)字化轉(zhuǎn)型
- 6578.59萬(wàn)芯公里!中國(guó)聯(lián)通啟動(dòng)2024年光纜集采
- 中際旭創(chuàng):800G光模塊主要銷至海外市場(chǎng)
- 中國(guó)電信:2025年與中國(guó)鐵塔關(guān)聯(lián)交易金額上限為215億元
- 從一條拉鏈到一座核電站,看福建數(shù)智化轉(zhuǎn)型發(fā)展背后的故事
- 諾基亞與EOLO部署歐洲首個(gè)5G SA毫米波網(wǎng)絡(luò)
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。