2023年9 月 29 日，由阿里云、NVIDIA 聯(lián)合主辦，阿里云天池平臺(tái)承辦的 “NVIDIA TensorRT Hackathon 2023 生成式 AI 模型優(yōu)化賽” 圓滿落幕。該賽事自2020年以來(lái)，已成功舉辦三屆，本屆賽事于今年 7 月啟動(dòng)，吸引了來(lái)自全國(guó) 729 支開(kāi)發(fā)者團(tuán)隊(duì)報(bào)名參賽，其中共有 40 支團(tuán)隊(duì)晉級(jí)復(fù)賽，最終 26 支團(tuán)隊(duì)于決賽中脫穎而出，分獲冠軍/亞軍/季軍及優(yōu)勝獎(jiǎng)，展現(xiàn)出了卓越的技術(shù)實(shí)力。

解鎖 TensorRT-LLM 挖掘生成式 AI 新需求

今年的NVIDIA TensorRT Hackathon著重提升選手開(kāi)發(fā) TensorRT 應(yīng)用的能力。

在過(guò)去的一年里，生成式 AI 迎來(lái)了爆發(fā)式增長(zhǎng)。計(jì)算機(jī)能夠批量生成大量圖像和文本，有的甚至能夠媲美專業(yè)創(chuàng)作者的作品。這為未來(lái)生成式 AI 模型的發(fā)展鋪平了道路，令人充滿期待。正因如此，NVIDIA TensorRT Hackathon 2023 選擇生成式 AI 模型作為比賽的主題，以激發(fā)選手的創(chuàng)新潛力。

今年的比賽設(shè)置了初賽和復(fù)賽兩組賽題——初賽階段，選手需要利用 TensorRT 加速帶有 ControlNet 的 Stable Diffusion pipeline，以優(yōu)化后的運(yùn)行時(shí)間和出圖質(zhì)量作為主要排名依據(jù)；復(fù)賽為開(kāi)放賽題，選手可自由選擇公開(kāi)的 Transformer 模型，并利用 TensorRT 或 NVIDIA TensorRT-LLM 進(jìn)行模型推理優(yōu)化。

NVIDIA TensorRT? 作為 GPU 上的 AI 推理加速庫(kù)，一直以來(lái)都備受業(yè)界認(rèn)可與青睞。本次比賽的背后是 NVIDIA TensorRT 開(kāi)發(fā)團(tuán)隊(duì)對(duì)產(chǎn)品不斷進(jìn)行改進(jìn)和優(yōu)化的結(jié)果。通過(guò)讓更多模型能夠順利通過(guò) ONNX 自動(dòng)解析得到加速，并對(duì)常見(jiàn)模型結(jié)構(gòu)進(jìn)行深度優(yōu)化，極大地提高了 TensorRT 的可用性和性能。這意味著大部分模型無(wú)需經(jīng)過(guò)繁瑣的手工優(yōu)化，就能夠在 TensorRT 上有出色的性能表現(xiàn)。

TensorRT-LLM 是 NVIDIA 即將推出用于大語(yǔ)言模型推理的工具，目前已于官網(wǎng)開(kāi)放試用。作為此次復(fù)賽推薦使用的開(kāi)發(fā)工具之一，TensorRT-LLM 包含 TensorRT 深度學(xué)習(xí)編譯器，并且?guī)в薪?jīng)過(guò)優(yōu)化的 CUDA kernel、前處理和后處理步驟，以及多 GPU/多節(jié)點(diǎn)通信，可以在 NVIDIA GPU 上提供出類拔萃的性能。它通過(guò)一個(gè)開(kāi)源的模塊化 Python 應(yīng)用 API 提高易用性和可擴(kuò)展性，使開(kāi)發(fā)人員能夠嘗試新的 LLM，提供最頂尖的性能和快速自定義功能，且不需要開(kāi)發(fā)人員具備深厚的 C++ 或 CUDA 知識(shí)。

作為本次大賽的主辦方之一，阿里云天池平臺(tái)為參賽選手提供了卓越的云上技術(shù)支持，在阿里云GPU云服務(wù)器中內(nèi)置 NVIDIA A10 Tensor Core GPU，參賽者通過(guò)云上實(shí)例進(jìn)行開(kāi)發(fā)和訓(xùn)練優(yōu)化模型，體驗(yàn)云開(kāi)發(fā)時(shí)代的AI工程化魅力。同時(shí)，由NVIDIA 30 名工程師組成導(dǎo)師團(tuán)隊(duì)，為晉級(jí)復(fù)賽的 40 支隊(duì)伍提供一對(duì)一輔導(dǎo)陪賽，助力選手獲得佳績(jī)。

從實(shí)踐到迭代  腦力與創(chuàng)造力的集中比拼

本次比賽中涌現(xiàn)出大量?jī)?yōu)秀的開(kāi)發(fā)者。在獲獎(jiǎng)的 26 支團(tuán)隊(duì)中，有不少團(tuán)隊(duì)選擇借助 TensorRT-LLM 對(duì)通義千問(wèn)-7B 進(jìn)行模型推理優(yōu)化。

通義千問(wèn)-7B（Qwen-7B）是阿里云研發(fā)的通義千問(wèn)大模型系列的 70 億參數(shù)規(guī)模的模型，基于 Transformer 的大語(yǔ)言模型，在超大規(guī)模的預(yù)訓(xùn)練數(shù)據(jù)上進(jìn)行訓(xùn)練得到。在 Qwen-7B 的基礎(chǔ)上，還使用對(duì)齊機(jī)制打造了基于大語(yǔ)言模型的 AI 助手 Qwen-7B-Chat。

獲得此次比賽一等獎(jiǎng)的 “無(wú)聲優(yōu)化者（著）” 團(tuán)隊(duì)，選擇使用 TensorRT-LLM 完成對(duì) Qwen-7B-Chat 實(shí)現(xiàn)推理加速。在開(kāi)發(fā)過(guò)程中，克服了 Hugging Face 轉(zhuǎn) Tensor-LLM、首次運(yùn)行報(bào)顯存分配錯(cuò)誤、模型 logits 無(wú)法對(duì)齊等挑戰(zhàn)與困難，最終在優(yōu)化效果上，吞吐量最高提升了 4.57 倍，生成速度最高提升了 5.56 倍。

而獲得此次賽事二等獎(jiǎng)的 “NaN-emm” 團(tuán)隊(duì)，在復(fù)賽階段，則選擇使用 TensorRT-LLM 實(shí)現(xiàn) RPTQ 量化。RPTQ 是一種新穎的基于重排序的量化方法，同時(shí)量化了權(quán)重與中間結(jié)果（W8A8），加速了計(jì)算。從最開(kāi)始不熟悉任何 LLM 模型，到后續(xù)逐步學(xué)習(xí)和了解相關(guān)技術(shù)，“NaN-emm” 團(tuán)隊(duì)啟用了GEMM plugin，GPT Attention plugin，完成了 VIT、Q-Former、Vicuna-7B 模型的轉(zhuǎn)化，最終通過(guò) 40 個(gè)測(cè)試數(shù)據(jù)，基于 Torch 框架推理耗時(shí) 145 秒，而經(jīng)過(guò) TensorRT-LLM 優(yōu)化的推理引擎耗時(shí)為 115 秒。

本次大賽還涌現(xiàn)了一批優(yōu)秀的開(kāi)發(fā)者，本屆參賽選手鄧順子不僅率領(lǐng)隊(duì)伍獲得了一等獎(jiǎng)，還收獲了本次比賽唯一的特別貢獻(xiàn)獎(jiǎng)。他表示，2022 年的 Hackathon 比賽是他首次接觸 TensorRT，這使他對(duì)模型推理加速產(chǎn)生了濃厚的興趣。盡管當(dāng)時(shí)未能進(jìn)入復(fù)賽，但那次經(jīng)歷讓他深感自身技能的不足。在上一次比賽中，他目睹了頂尖選手使用 FasterTransformer 在比賽中取得領(lǐng)先地位，這一經(jīng)歷讓他對(duì) AI 技術(shù)有了更深入的理解和追求。隨后，他積極做 TensorRT 上的模型開(kāi)發(fā)，特別是對(duì) ChatGLM/Bloom 等新興模型進(jìn)行了優(yōu)化，感受到了 TensorRT 的強(qiáng)大。

今年，他再次參加了 TensorRT Hackathon 2023，利用 TensorRT-LLM 成功優(yōu)化了 QWen 大模型，實(shí)現(xiàn)了自己的夢(mèng)想。他感謝主辦方給予的機(jī)會(huì)，團(tuán)隊(duì)的支持，以及所有參賽者的努力，他期待未來(lái)能與大家一起為 AI 技術(shù)的發(fā)展創(chuàng)造更多奇跡。

人工智能應(yīng)用場(chǎng)景創(chuàng)新日新月異，AI 模型的開(kāi)發(fā)與部署也需要注入新的動(dòng)能。在此次賽事中，選手們基于 TensorRT 挖掘出更多的潛能和功能需求。未來(lái)，阿里云和NVIDIA 還將持續(xù)為開(kāi)發(fā)者和技術(shù)愛(ài)好者提供展示技能和創(chuàng)意的平臺(tái)，天池平臺(tái)將與更多優(yōu)秀的開(kāi)發(fā)者一同推進(jìn) TensorRT 的發(fā)展，讓 AI 在 GPU 上更容易、更高效地部署。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。