標題：香港大學快手聯(lián)手破局：AI造夢師領(lǐng)航GameFactory框架，打破游戲場景泛化難題，引領(lǐng)未來游戲新紀元
隨著科技的發(fā)展，游戲行業(yè)也在不斷進步。香港大學攜手快手科技，組建科研團隊，提出名為GameFactory的創(chuàng)新框架，目標是解決游戲視頻生成中的場景泛化難題。GameFactory利用預訓練的視頻擴散模型，能夠創(chuàng)造全新且多樣化的游戲場景，打破了現(xiàn)有方法對特定游戲數(shù)據(jù)集的過度依賴，為游戲行業(yè)帶來了新的可能。
一、視頻擴散模型的力量
視頻擴散模型已成為強大的視頻生成和物理模擬工具，在游戲引擎開發(fā)方面展現(xiàn)出巨大潛力。這些生成式游戲引擎的功能類似于具有動作可控性的視頻生成模型，可以響應用戶的鍵盤和鼠標等輸入。通過學習開放域視頻數(shù)據(jù)中的模式，這些模型能夠生成逼真的、時長更長的視頻。
二、場景泛化難題
在視頻生成和游戲物理學領(lǐng)域，場景泛化是一個關(guān)鍵挑戰(zhàn)。現(xiàn)有的方法往往依賴于大規(guī)模的動作標注視頻數(shù)據(jù)集，但這種標注成本高昂，對于開放域場景來說并不實際。這種局限性阻礙了開發(fā)多功能游戲引擎，在生成多樣化和新穎游戲環(huán)境方面面臨諸多挑戰(zhàn)。
三、GameFactory的創(chuàng)新框架
GameFactory利用預訓練的視頻擴散模型，通過三階段訓練策略，解決了場景泛化難題。第一階段，使用LoRA（Low-Rank Adaptation）微調(diào)預訓練模型，使其適應目標游戲領(lǐng)域，同時保留大部分原始參數(shù)。第二階段，凍結(jié)預訓練參數(shù)和LoRA，專注于訓練動作控制模塊，避免風格與控制的糾纏。第三階段，移除LoRA權(quán)重，保留動作控制模塊參數(shù)，使系統(tǒng)能夠在各種開放域場景中生成受控的游戲視頻。
四、研究與數(shù)據(jù)集
為了評估不同控制機制的有效性，研究人員還發(fā)布了高質(zhì)量的動作標注視頻數(shù)據(jù)集GF-Minecraft用于訓練和評估GameFactory框架。此外，GameFactory還利用了高質(zhì)量的游戲視頻數(shù)據(jù)集進行測試和驗證，這些數(shù)據(jù)集涵蓋了各種不同的游戲環(huán)境和場景。
五、未來展望
GameFactory的提出為游戲行業(yè)開辟了新的可能性。通過利用預訓練的視頻擴散模型，GameFactory能夠創(chuàng)造出全新的、多樣化的游戲場景，為玩家提供更加豐富和有趣的體驗。此外，GameFactory還具有自回歸動作控制能力，能夠生成無限長度的交互式游戲視頻，為游戲開發(fā)者提供了更多的創(chuàng)作空間和可能性。
總的來說，香港大學與快手的聯(lián)手破局GameFactory框架是游戲行業(yè)的一大突破。它不僅解決了游戲視頻生成中的場景泛化難題，還為游戲行業(yè)帶來了新的發(fā)展可能。GameFactory將引領(lǐng)未來游戲新紀元，開啟游戲行業(yè)的新篇章。我們期待著GameFactory在未來的表現(xiàn)，以及它為游戲行業(yè)帶來的更多創(chuàng)新和突破。
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
