TensorRT 是 AI 推理優(yōu)化工具,通過(guò)對(duì) AI 模型細(xì)致的性能優(yōu)化,它能以高吞吐和低延遲在 GPU 上運(yùn)行 AI 推理運(yùn)算,獲得廣泛應(yīng)用。為了在業(yè)界進(jìn)一步推廣 TensorRT,培養(yǎng)開(kāi)發(fā)人員,豐富生態(tài),NVIDIA 與阿里云天池聯(lián)合舉辦了第二屆 TensorRT Hackathon,以時(shí)下流行的 Transformer 模型優(yōu)化作為主題。本屆比賽于2022年4月啟動(dòng),經(jīng)過(guò)初賽與復(fù)賽,歷時(shí)3個(gè)月在近日?qǐng)A滿(mǎn)結(jié)束。
?初賽題目
初賽是優(yōu)化給定模型 WeNet,讓選手了解 TensorRT 常用優(yōu)化流程并學(xué)會(huì)使用配套工具。初賽的評(píng)估機(jī)器采用 NVIDIA A30 GPU。
?復(fù)賽題目
復(fù)賽是自選模型,選手在 NVIDIA 導(dǎo)師的輔導(dǎo)下進(jìn)行開(kāi)發(fā),并通過(guò)開(kāi)源代碼、發(fā)布技術(shù)文檔啟發(fā)后人。復(fù)賽的機(jī)器由阿里云提供,采用 NVIDIA A10 GPU。NVIDIA 為了把比賽變成 TensorRT 實(shí)地教學(xué),專(zhuān)門(mén)為本次比賽籌備了教學(xué)視頻與示例程序庫(kù),希望參賽選手和其他學(xué)習(xí)者從中收獲經(jīng)驗(yàn)。另外還建立了選手交流群,方便大家討論。
?初賽實(shí)錄
初賽共有 600 余支隊(duì)伍報(bào)名。選手們通過(guò)教學(xué)視頻和示例代碼學(xué)習(xí),積累一定的 TensorRT 開(kāi)發(fā)經(jīng)驗(yàn)之后,逐步改善模型的優(yōu)化效果。選手的成績(jī)實(shí)時(shí)反映在天池的在線(xiàn)榜單上,選手因而了解彼此的差距,為創(chuàng)造新的紀(jì)錄展開(kāi)了激烈角逐。在 NVIDIA 導(dǎo)師的提示和引導(dǎo)下,選手們從入門(mén)級(jí)的 800 分不斷進(jìn)步,最后所有進(jìn)入復(fù)賽的選手都達(dá)到了 1400 分,并產(chǎn)生了技驚四座、超越 10000 分的第一名。
?復(fù)賽實(shí)錄
復(fù)賽共有 40 支隊(duì)伍晉級(jí),NVIDIA 抽調(diào)了 28 名工程師組成導(dǎo)師團(tuán)隊(duì),為各支隊(duì)伍提供一對(duì)一輔導(dǎo)。比賽迎來(lái)眾多開(kāi)發(fā)高手的精彩表現(xiàn),是 TensorRT 開(kāi)發(fā)者力量的一次爆發(fā)展示。選手們按實(shí)用性、影響力挑選模型,克服各種不能被 TensorRT 直接解析運(yùn)行的困難,精心查找性能瓶頸,施展全面手段進(jìn)行優(yōu)化,并把自己的成果通過(guò)詳細(xì)的報(bào)告分享給他人。選手們傾心投入,為比賽貢獻(xiàn)了巨量的時(shí)間和努力。大賽借助眾人的力量,把市面上更多的流行模型跑在 TensorRT 上,產(chǎn)生的成果價(jià)值極高,遠(yuǎn)遠(yuǎn)超過(guò)了比賽本身的經(jīng)費(fèi)投入。
面對(duì)如此優(yōu)秀的成果,賽末評(píng)獎(jiǎng)對(duì) NVIDIA 是極大的考驗(yàn)。值得注意的是,評(píng)分的數(shù)值是由賽制決定的,再疊加評(píng)委個(gè)人的欣賞,存在一定的主觀性。為了追求結(jié)果盡量客觀,NVIDIA 對(duì)評(píng)分原則進(jìn)行了細(xì)化,邀請(qǐng) 7 名評(píng)委獨(dú)立評(píng)分后取平均,最終決出一等獎(jiǎng)1名,二等獎(jiǎng)2名,三等獎(jiǎng)2名,優(yōu)勝獎(jiǎng)20名。
其中,前三名的隊(duì)伍如下:
本屆比賽是 NVIDIA 與阿里云開(kāi)發(fā)者社區(qū)的第一場(chǎng)活動(dòng)合作,也是與阿里云天池團(tuán)隊(duì)的第一次聯(lián)合辦賽。天池為本次比賽提供了自動(dòng)化的競(jìng)賽平臺(tái)、通過(guò)持續(xù)優(yōu)化的賽事運(yùn)營(yíng)模式與經(jīng)驗(yàn),專(zhuān)業(yè)、嚴(yán)謹(jǐn)?shù)乇Ｕ狭吮荣惖捻樌M(jìn)行。雙方將在未來(lái)繼續(xù)保持合作,為開(kāi)發(fā)者們提供更多切磋技術(shù)的高質(zhì)量技術(shù)活動(dòng)
。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
