2022年4月7日，全球權(quán)威AI基準(zhǔn)評測MLPerf™公布最新AI推理(Inference)V2.0榜單，浪潮AI服務(wù)器以最高性能獲得了數(shù)據(jù)中心(固定任務(wù))的全部16項(xiàng)冠軍。

　　MLPerf™由圖靈獎得主大衛(wèi)•帕特森(David Patterson)聯(lián)合頂尖學(xué)術(shù)機(jī)構(gòu)發(fā)起成立，是國際最權(quán)威的AI性能基準(zhǔn)評測，每年組織AI推理和AI訓(xùn)練測試各兩次，以對迅速增長的AI計(jì)算需求與性能進(jìn)行及時(shí)的跟蹤測評。MLPerf™比賽通常分為固定任務(wù)(Closed)和開放優(yōu)化(Open)兩類任務(wù)，開放優(yōu)化能力著重考察參測廠商的AI技術(shù)創(chuàng)新力，固定任務(wù)則因更公平地考察參測廠商的硬件系統(tǒng)和軟件優(yōu)化的能力，成為更具參考價(jià)值的AI性能基準(zhǔn)測試。

　　本次是2022年MLPerf™的首次AI推理性能評測，旨在考察在各類AI任務(wù)中，不同廠商計(jì)算系統(tǒng)的推理速度和能力。本次評測中，在競爭最激烈的數(shù)據(jù)中心(固定任務(wù))賽道，共有926項(xiàng)成績提交，數(shù)量較上次比試翻倍，競爭非常激烈。

　　浪潮AI服務(wù)器創(chuàng)推理性能新紀(jì)錄

　　本次MLPerf™AI推理性能評測涵蓋使用廣泛的六大AI場景，包括圖像分類、自然語言理解、語音識別、目標(biāo)物體檢測、醫(yī)學(xué)影像分割、智能推薦，每個(gè)場景采用最主流的AI模型作為測試任務(wù)，分別為ResNet50、BERT、RNNT、SSD-ResNet34、3D-Unet、DLRM。MLPerf™測試要求模型推理精度達(dá)到99%以上，對于自然語言理解、醫(yī)學(xué)影像分割和智能推薦3個(gè)任務(wù)則設(shè)置99%與99.9%兩種精度要求，以考察當(dāng)提升AI推理精度要求時(shí)對計(jì)算性能的影響。

　　為更加貼近實(shí)際應(yīng)用情況，MLPerf™推理測試在數(shù)據(jù)中心賽道下設(shè)置了離線(Offline)與在線(Server)兩種模式。離線模式代表任務(wù)所需所有數(shù)據(jù)都在本地可用，典型場景如大批量醫(yī)療影像樣本存于本地等待統(tǒng)一識別。在線模式則反映了大部分的即時(shí)AI應(yīng)用，其數(shù)據(jù)和請求以突發(fā)和間歇的方式在線送達(dá)，例如用戶在瀏覽購物網(wǎng)站時(shí)智能推薦的推理請求。

　　浪潮AI服務(wù)器此次表現(xiàn)出色，以最高性能包攬了此次MLPerf™數(shù)據(jù)中心(固定任務(wù))賽道的全部16項(xiàng)冠軍。

　　本次MLPerf™測試中，浪潮AI服務(wù)器在ResNet50模型任務(wù)中創(chuàng)造了每秒處理449,856張圖片的性能紀(jì)錄，相當(dāng)于僅用2.8秒即完成ImageNet數(shù)據(jù)集128萬張圖片的分類;在3D-UNet模型任務(wù)中，創(chuàng)造了每秒處理36.25張醫(yī)療影像的新紀(jì)錄，相當(dāng)于在6秒內(nèi)完成對KiTS19數(shù)據(jù)集207張3D醫(yī)療影像的分割;在SSD-ResNet34模型任務(wù)中，創(chuàng)造了每秒對11,081.9張圖片完成目標(biāo)物體識別及定位的新紀(jì)錄;在BERT模型任務(wù)中，創(chuàng)造了平均每秒完成38,776.7個(gè)問答的性能紀(jì)錄，在RNNT模型任務(wù)中，創(chuàng)造了每秒將155,811段語音轉(zhuǎn)為文字的性能紀(jì)錄，在DLRM模型任務(wù)中，則創(chuàng)造每秒實(shí)現(xiàn)2,645,980次點(diǎn)擊預(yù)測的最佳性能紀(jì)錄。

　　此外，本次MLPerf™評測還設(shè)有邊緣推理賽道，浪潮面向邊緣場景設(shè)計(jì)的AI服務(wù)器同樣表現(xiàn)出色，在邊緣固定任務(wù)賽道的全部17項(xiàng)任務(wù)中斬獲了11項(xiàng)冠軍。

　　隨著AI應(yīng)用在各個(gè)行業(yè)中的持續(xù)深化，更快的推理速度，將帶來更高的AI應(yīng)用效率與能力,加速產(chǎn)業(yè)智能化轉(zhuǎn)型。相比半年前的MLPerf™AI推理榜單V1.1，浪潮AI服務(wù)器將圖像分類、語音識別和自然語言理解任務(wù)的推理性能分別提升31.5%、28.5%及21.3%，意味著浪潮AI服務(wù)器在自動駕駛、語音會議、智能問答和智慧醫(yī)療等等場景中，能夠更高效快速地完成各類智能任務(wù)。

　　全棧優(yōu)化能力助推AI性能持續(xù)提升

　　浪潮AI服務(wù)器在MLPerf™基準(zhǔn)評測中的出色表現(xiàn)，得益于浪潮信息卓越的AI系統(tǒng)設(shè)計(jì)能力和全棧優(yōu)化能力。

　　本次參與測評的浪潮AI服務(wù)器NF5468M6J擁有出色的系統(tǒng)設(shè)計(jì)，以分層可擴(kuò)展計(jì)算架構(gòu)在業(yè)界率先實(shí)現(xiàn)對12顆A100 GPU的支持，并以極佳的性能成績一舉攬獲12項(xiàng)冠軍。浪潮信息也是本次MLPerf™競賽中可以唯一提供服務(wù)器支持8顆500W A100 GPU的廠商，并實(shí)現(xiàn)了風(fēng)冷及液冷兩種散熱方式。在此次參賽的8顆GPUNVLink高端主流機(jī)型中，浪潮AI服務(wù)器在數(shù)據(jù)中心16個(gè)任務(wù)中斬獲14項(xiàng)最佳成績，展現(xiàn)出在高端機(jī)型中的領(lǐng)先優(yōu)勢。其中，NF5488A5是全球首批上市的A100服務(wù)器，在4U空間支持8顆第三代NVlink互聯(lián)的A100 GPU和2顆AMD Milan CPU。NF5688M6是面向大規(guī)模數(shù)據(jù)中心優(yōu)化設(shè)計(jì)的具備極致擴(kuò)展能力的AI服務(wù)器，支持8顆A100 GPU和2顆Intel Icelake CPU，支持多達(dá)13張PCIe Gen4的IO擴(kuò)展卡。

　　在硬件層面，浪潮AI服務(wù)器通過對CPU、GPU硬件性能的精細(xì)校準(zhǔn)和全面優(yōu)化，使CPU性能、GPU性能、CPU與GPU之間的數(shù)據(jù)通路均處于對AI推理最優(yōu)狀態(tài);在軟件層面，結(jié)合GPU硬件拓?fù)鋵Χ郍PU的輪詢調(diào)度優(yōu)化使單卡至多卡性能達(dá)到了近似線性擴(kuò)展;在深度學(xué)習(xí)算法層面，結(jié)合GPU Tensor Core單元的計(jì)算特征，通過自研通道壓縮算法成功實(shí)現(xiàn)了模型的極致性能優(yōu)化。

　　浪潮信息是全球領(lǐng)先的AI計(jì)算廠商，AI服務(wù)器市場份額全球第一，連續(xù)五年以超50%的市場份額穩(wěn)居中國AI服務(wù)器市場第一。浪潮信息致力于AI計(jì)算平臺、資源平臺和算法平臺的研發(fā)創(chuàng)新，并通過元腦生態(tài)攜手領(lǐng)先伙伴加速數(shù)實(shí)相融。

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）