一場發(fā)生在王者峽谷的賽事，背后竟然驚動(dòng)了清華、北大、中科大、電子科技大學(xué)……等20多所名校的學(xué)生和老師?

這不是一場簡單的電競賽事，而是一場AI領(lǐng)域的科研賽事——由騰訊AI Lab、王者榮耀、騰訊高校合作、騰訊游戲?qū)W院等聯(lián)合舉辦，由騰訊云計(jì)算提供底層資源支持的第二屆騰訊“開悟”多智能體強(qiáng)化學(xué)習(xí)大賽(簡稱開悟大賽)。

不同于常規(guī)電競比賽，選手們并不是親手操作英雄去戰(zhàn)斗，他們的定位更類似于教練，通過編寫的程序利用AI進(jìn)行對抗。賽事基于“開悟”AI開放研究平臺(tái)舉行，依托于騰訊太極機(jī)器學(xué)習(xí)平臺(tái)，選手可獲取“開悟”提供的算法、算力、脫敏數(shù)據(jù)等資源。

就在上周，開悟大賽在官網(wǎng)發(fā)布了初賽成績。10支隊(duì)伍脫穎而出，晉級復(fù)賽。

隊(duì)伍成績已公布于賽事官網(wǎng)aiarena.tencent.com

AI也會(huì)“騷操作”

初賽的目標(biāo)并不復(fù)雜：參賽隊(duì)伍需要訓(xùn)練AI學(xué)會(huì)露娜、魯班七號(hào)、橘右京等三位英雄，并在1v1墨家機(jī)關(guān)道地圖中戰(zhàn)勝對手的同一英雄，打爆對方的水晶。除了“召喚師”是AI以外，整體規(guī)則與《王者榮耀》游戲一致。

你可能要說：就這?但達(dá)成這個(gè)目標(biāo)，對AI來說并不簡單。

《王者榮耀》是一款需要玩家根據(jù)復(fù)雜多變的戰(zhàn)場情況進(jìn)行實(shí)時(shí)反應(yīng)，制定策略的游戲，要求玩家掌握并融合實(shí)時(shí)感知、分析、理解、推理、決策等多種能力。因此，如何設(shè)計(jì)AI的行為權(quán)重、操作觸發(fā)條件，以及決策是否正確的反饋機(jī)制則成為了比賽制勝的關(guān)鍵。

在初賽賽題中，就考查了智能體解決方案，模型結(jié)構(gòu)設(shè)計(jì)，強(qiáng)化學(xué)習(xí)算法設(shè)計(jì)和訓(xùn)練方式探索等AI強(qiáng)化學(xué)習(xí)領(lǐng)域的硬核知識(shí)點(diǎn)。

初賽階段，主辦方希望讓參賽者能夠比較輕松地上手，并在“開悟”平臺(tái)上體驗(yàn)到AI強(qiáng)化學(xué)習(xí)訓(xùn)練的完整流程。因此，賽事主辦方為參賽隊(duì)伍提供了一份benchmark，包括了訓(xùn)練所需要的所有環(huán)境配置以及基礎(chǔ)的算法框架代碼，讓選手無需關(guān)心復(fù)雜的游戲邏輯以及搭建訓(xùn)練環(huán)境，就能快速掌握訓(xùn)練流程，并專注于核心算法的優(yōu)化。得益于此，初賽大部分學(xué)生都順利完成了賽題并提交了自己訓(xùn)練出來的模型。

在初賽的一場露娜1V1中，我們看到了一次可媲美真實(shí)玩家對戰(zhàn)的AI精彩對決。

“歡迎來到王者榮耀。”隨著語音響起，戰(zhàn)斗正式打響，雙方狹路相逢，在短暫交手試探后，便默契分開，各自靠小兵發(fā)育。

接下來，在沒有把握完成擊殺的情況下，雙方并沒有選擇窮追猛打，而是點(diǎn)到為止的交手了幾次，都在血量告急時(shí)暫時(shí)退避，戰(zhàn)況暫時(shí)陷入了膠著。

藍(lán)方率先抓住了機(jī)會(huì)，該出手時(shí)就出手，越塔完成了首次擊殺。

到了后期戰(zhàn)事越發(fā)激烈，雙方你來我往，互不讓步。

最終，藍(lán)方靠著前期積攢的優(yōu)勢，對著紅方發(fā)起了最后一擊。雖然紅方露娜在還剩最后一絲血皮時(shí)試圖撤出戰(zhàn)場，但難以力挽狂瀾。最終，以藍(lán)方露娜擊破紅方水晶塔獲勝。

可以看到，經(jīng)過短短兩個(gè)月的學(xué)習(xí)和研發(fā)，學(xué)生們已經(jīng)交出了可圈可點(diǎn)的答卷。當(dāng)然，這離不開老師和同學(xué)們大量的心血投入。

　　像電競教練一樣訓(xùn)練AI

自AlphaGo一鳴驚人后，越來越多AI研究團(tuán)隊(duì)意識(shí)到，游戲是AI的最佳訓(xùn)練場之一：若AI能在如此復(fù)雜的環(huán)境中，學(xué)會(huì)人一樣實(shí)時(shí)感知、分析、理解、推理、決策到行動(dòng)，就可能在多變、復(fù)雜的真實(shí)環(huán)境中發(fā)揮更大作用。

在游戲環(huán)境中開發(fā)AI，這對清華大學(xué)計(jì)算機(jī)系隊(duì)的陳華玉同學(xué)并不陌生，在清華校內(nèi)就有類似的比賽。但他沒有想到，有一天能夠?qū)⒆约旱膶I(yè)與所喜愛的《王者榮耀》游戲結(jié)合起來。

在收到老師通知之后，他馬上決定參加賽事，并承擔(dān)起了拉人組隊(duì)的工作。除了喜歡游戲以外，更主要的原因是“開悟”整合游戲環(huán)境、算法、算力、脫敏數(shù)據(jù)等資源，能夠提供一個(gè)研究強(qiáng)化學(xué)習(xí)算法的理想環(huán)境。

“之前一直沒有機(jī)會(huì)去做，因?yàn)樗枰粋€(gè)非常大的平臺(tái)，以及大量的計(jì)算資源，以個(gè)人的能力去做會(huì)很困難。”陳華玉說，與他有相同想法的同學(xué)很多，招人信息發(fā)出去后，馬上收到了20多份簡歷。

當(dāng)然，“開悟”大賽的玩法和普通的游戲局并不一樣。來自深圳大學(xué)的唐致燁同學(xué)是第二次參賽，去年止步于初賽的他今年格外上心，在開賽前就開始研究騰訊AI Lab過往幾篇關(guān)于“絕悟”(達(dá)到王者榮耀電競水平的策略協(xié)作型AI)的論文。

“我們在賽事過程中更像是一個(gè)電競教練。”他這樣評價(jià)參加“開悟”大賽的體驗(yàn)。“我們要分析玩家在游戲時(shí)會(huì)考慮哪些因素，然后對這些因素進(jìn)行思考，也會(huì)請擅長王者的隊(duì)友看視頻輔助調(diào)參數(shù)，挺有趣的。”

陳華玉和唐致燁的隊(duì)伍都進(jìn)入了復(fù)賽。在對自己隊(duì)伍的初賽表現(xiàn)進(jìn)行復(fù)盤時(shí)，兩位都認(rèn)為，在面對一個(gè)比較復(fù)雜的研究項(xiàng)目時(shí)，隊(duì)伍內(nèi)部的分工合作很重要。“有人負(fù)責(zé)開發(fā)，有人負(fù)責(zé)動(dòng)作空間，有人專門負(fù)責(zé)實(shí)驗(yàn)。”他們形容，這和玩游戲時(shí)的組隊(duì)奮戰(zhàn)有點(diǎn)像，5個(gè)人運(yùn)用不同的“職業(yè)”特長，走在不同的路線上，最終一起攻破水晶。

而在老師的眼中，同學(xué)們在比賽中展現(xiàn)出的學(xué)習(xí)熱情更讓人驚喜。清華計(jì)算機(jī)隊(duì)的指導(dǎo)老師閻棟表示：“現(xiàn)在的這些同學(xué)們非常喜歡王者榮耀，利用興趣驅(qū)動(dòng)去做事，也能提升主動(dòng)學(xué)習(xí)積極性。”

盡管平臺(tái)還有許多需要不斷迭代優(yōu)化的空間，但老師們對它寄予厚望。深大指導(dǎo)老師王旭就非常期待與“開悟”平臺(tái)的進(jìn)一步合作：“我期待平臺(tái)能夠進(jìn)一步開放，與專業(yè)課進(jìn)一步深度結(jié)合，形成一個(gè)類似于訓(xùn)練或者教育的平臺(tái)。”

事實(shí)上，為普及多智能體強(qiáng)化學(xué)習(xí)研究，“開悟”早已向高校拋出了橄欖枝。今年4月，騰訊“開悟”聯(lián)合國內(nèi)多所高校成立了人工智能科教聯(lián)盟，并攜手高校、科研院所、產(chǎn)業(yè)園區(qū)、投資機(jī)構(gòu)組建人工智能科創(chuàng)聯(lián)合體。

王老師的期望也即將變成現(xiàn)實(shí)。今年8月，騰訊宣布與四所國內(nèi)一流高校(北京大學(xué)、電子科技大學(xué)、清華大學(xué)、中國科學(xué)技術(shù)大學(xué))的老師合作開發(fā)基于“開悟”平臺(tái)的人工智能實(shí)踐課程，理論授課包括但不限于機(jī)器學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、多智能體決策等相關(guān)的知識(shí)點(diǎn)，運(yùn)用王者榮耀作為實(shí)踐驗(yàn)證場景，以更輕松的方式，傳授同學(xué)們AI相關(guān)知識(shí)。未來，這一課程將逐步推廣向更多有意接入的高校。

我們目標(biāo)是星辰大海

在接下來的兩個(gè)月內(nèi)，選手們將迎來更高難度的復(fù)賽——3v3團(tuán)體戰(zhàn)。這一課題意味著選手需要在設(shè)計(jì)AI時(shí)，考慮到多個(gè)智能體之間的配合協(xié)作。

此外，復(fù)賽長平攻防戰(zhàn)使用的地圖，也比初賽的墨家機(jī)關(guān)道更復(fù)雜。場地分為上野區(qū)、下野區(qū)和中路三部分，且新增了草叢(可隱藏角色的地圖區(qū)域)、野怪(擊殺可掉落金幣)等元素，意味著AI擁有了更大的狀態(tài)空間，且需要考慮不同定位的英雄的獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)，難度再次升級。

更高難度的挑戰(zhàn)，正是參賽者們所期待的。陳華玉至今印象最深刻的，還是初賽期間所遇到的難題，以及解決這些問題時(shí)巨大的成就感：“當(dāng)發(fā)現(xiàn)我們想出的數(shù)據(jù)，真的有助于算法改進(jìn)的時(shí)候，這種感覺還挺好的。”

研究的快樂，也讓唐致燁想要探索更遙遠(yuǎn)的地方：“在比賽過程中，我發(fā)現(xiàn)強(qiáng)化學(xué)習(xí)是挺有意思的一個(gè)領(lǐng)域，我未來可能也會(huì)往這個(gè)方向去走。”

“開悟”的目標(biāo)則看得更遠(yuǎn)：賽事希望更高難度的挑戰(zhàn)，能幫助參賽者沉淀更多的強(qiáng)化學(xué)習(xí)研究經(jīng)驗(yàn)，從而為AI與現(xiàn)實(shí)場景的結(jié)合創(chuàng)造更多可能。

基于游戲虛擬場景，訓(xùn)練AI的通用能力，讓更智能的AI在各領(lǐng)域服務(wù)人類，是游戲AI研究的核心目標(biāo)。舉個(gè)例子，假如AI在王者峽谷中，能夠快速分析瞬息萬變的環(huán)境和對手并作出決策，這個(gè)能力運(yùn)用于同樣復(fù)雜的真實(shí)城市路況，就是自動(dòng)駕駛AI的雛形;當(dāng)AI學(xué)會(huì)了如何控制5個(gè)隊(duì)友配合互助，或許就能在工業(yè)環(huán)境中操作多個(gè)機(jī)器人，完成復(fù)雜的生產(chǎn)任務(wù)。

作為國內(nèi)“AI+游戲”方向的先行探路者，騰訊AI Lab已基于“絕悟”、“絕藝”等多項(xiàng)前沿成果，初步將其AI技術(shù)應(yīng)用于游戲、醫(yī)療等產(chǎn)業(yè)。

在“助力產(chǎn)學(xué)研，共享AI新生態(tài)”愿景的引領(lǐng)下，“開悟”希望能夠成為這些年輕人們走向星辰大海的第一塊階梯。隨著他們的成長，AI將加速與醫(yī)療、工業(yè)、農(nóng)業(yè)、交通等更多場景融合，并逐步成為全真互聯(lián)世界的基建設(shè)施，構(gòu)建未來數(shù)字生活新體驗(yàn)。

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）