生成式AI正展現(xiàn)巨大潛能，其在各行業(yè)的落地和應(yīng)用也正在迅速加速。

作為國(guó)內(nèi)生成式AI虛擬人技術(shù)領(lǐng)導(dǎo)者，中科深智憑借自身的技術(shù)積淀和在 NVIDIA NeMo、Omniverse等技術(shù) 的幫助下，成功推出虛擬人實(shí)時(shí)交互和應(yīng)答系統(tǒng)——云小七，這也是加入 NVIDIA初創(chuàng)加速計(jì)劃與 NVIDIA 深入技術(shù)交流與合作的成果之一。同時(shí)，中科深智將自有大模型GenSense數(shù)智姜尚引入游戲行業(yè)，支持智能NPC(也即虛擬人)的批量化生產(chǎn)，提升游戲開發(fā)效率。

云小七除了可以讓NPC具備個(gè)性化特征，還能夠在不需要編寫復(fù)雜腳本的情況下，與游戲玩家進(jìn)行順暢的文字、語(yǔ)音、動(dòng)作、表情等多模態(tài)的實(shí)時(shí)互動(dòng)。這將為游戲開發(fā)商帶來(lái)更加有力的支持，同時(shí)也為玩家提供更加生動(dòng)、真實(shí)的游戲體驗(yàn)。

云小七底層的文字對(duì)話能力，來(lái)自于中科深智在5月10日推出的自有大語(yǔ)言模型GenSense數(shù)智姜尚。數(shù)智姜尚是國(guó)內(nèi)商用大模型在輕量化領(lǐng)域內(nèi)的首次嘗試，其200億和20億兩種參數(shù)量的大模型，占用資源相對(duì)于傳統(tǒng)技術(shù)更少，推理甚至只需要一塊NVIDIA GeForce RTX 3090顯卡便能良好運(yùn)行。

NVIDIA NeMo在數(shù)智姜尚的訓(xùn)練過(guò)程中提供了低門檻、經(jīng)濟(jì)高效的幫助。NVIDIA NeMo是一個(gè)用于構(gòu)建最先進(jìn)對(duì)話式AI模型的工具包，為L(zhǎng)LM的預(yù)訓(xùn)練、自然語(yǔ)言處理(NLP)、自動(dòng)語(yǔ)音識(shí)別(ASR)和文本到語(yǔ)音(TTS)合成模型提供單獨(dú)的集合。對(duì)于LLM的部分， NVIDIA NeMo Framework提供了多個(gè)可選擇的預(yù)訓(xùn)練模型，包括幾十億參數(shù)的中等體量和最大的AI單體Transformer語(yǔ)言模型(MT-NLG 5300億)。這些預(yù)訓(xùn)練模型能夠大幅縮短后續(xù)基于該模型的微調(diào)和再訓(xùn)練的時(shí)間。

在高效訓(xùn)練框架 NVIDIA NeMo Framework的助力下，數(shù)智姜尚的最終呈現(xiàn)為專門針對(duì)虛擬人端到端應(yīng)用而設(shè)計(jì)的模型，具有輕量級(jí)、可私有化部署等優(yōu)勢(shì)，服務(wù)于中科深智下游客戶。同時(shí)，NeMo Framework提供的NeMo Guardrails工具幫助中科深智高效解決對(duì)話式AI合規(guī)性和安全性的風(fēng)險(xiǎn)。NeMo Guardrails為對(duì)話設(shè)置了響應(yīng)范圍邊界，使其回答范圍僅限于適當(dāng)?shù)闹黝}并僅提供必要的信息，并限制AI只與已確認(rèn)安全的第三方應(yīng)用程序建立聯(lián)系。

NeMo框架中的ASR/TTS模型進(jìn)一步提高了云小七對(duì)于音頻輸入和輸出響應(yīng)的實(shí)現(xiàn)效率。云小七嵌入在中科深智自身技術(shù)底座之上，支持與用戶進(jìn)行實(shí)時(shí)的語(yǔ)音交流，從而實(shí)現(xiàn)了多種交互模式的無(wú)障礙切換。

云小七的核心能力之一還包括中科深智自研實(shí)現(xiàn)的CLAP大模型算法(Contrastive Language-Action Pre-Training，對(duì)比性語(yǔ)言-動(dòng)作預(yù)處理模型)，這種算法可以實(shí)現(xiàn)對(duì)于語(yǔ)音、語(yǔ)義以及外部環(huán)境輸入的實(shí)時(shí)反饋，從而輸出動(dòng)作和表情等，使得NPC具有更加生動(dòng)的表現(xiàn)能力。此外， NVIDIA Omniverse中的 Audio2Face也可以輔助云小七實(shí)現(xiàn)音頻輸入的面部輸出，通過(guò)預(yù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)、調(diào)整角色網(wǎng)格的3D頂點(diǎn)等方式，實(shí)現(xiàn)快速表情切換。

為了實(shí)現(xiàn)更加自然的動(dòng)作反饋生成以及動(dòng)作和空間關(guān)系的獨(dú)立實(shí)現(xiàn)，云小七采用了CLAP算法，并支持基于語(yǔ)義、音樂(lè)和連續(xù)動(dòng)作等多種生成方式。

在游戲環(huán)境中，云小七能夠識(shí)別并及時(shí)反應(yīng)，這得益于其自身的意圖識(shí)別能力以及 NVIDIA Maxine對(duì)于音頻和視頻通信方面的優(yōu)化。即使使用普通的麥克風(fēng)和攝像頭，NPC也能夠與玩家實(shí)現(xiàn)實(shí)時(shí)互動(dòng)。

至此，再加上中科深智的超寫實(shí)虛擬人生成系統(tǒng)Anyhuman(支持快速創(chuàng)建并導(dǎo)出高精度數(shù)字人)的協(xié)同助力，一個(gè)實(shí)現(xiàn)了超寫實(shí)虛擬人形象、文本和語(yǔ)音實(shí)時(shí)交互、對(duì)外部環(huán)境輸入實(shí)時(shí)感知并轉(zhuǎn)化為動(dòng)作和表情反饋的NPC終于問(wèn)世。

這些后續(xù)功能基于生成式AI的設(shè)計(jì)，可以通過(guò)賦予特定的人設(shè)，如形象、聲音、性格特征、背景等等，來(lái)與游戲內(nèi)容有機(jī)融合。鑒于這一創(chuàng)新，中科深智預(yù)測(cè)這將完全改變玩家與游戲角色互動(dòng)的方式，提高游戲的沉浸感，讓普通玩家也能更快地探索元宇宙的奧秘。

關(guān)于中科深智

中科深智是一家專注于端到端生成式AI虛擬人技術(shù)的公司，從底層自研的大語(yǔ)言模型、動(dòng)作和表情生成算法模型以及3D自動(dòng)建模 ，到Motionverse虛擬人業(yè)務(wù)中臺(tái)，再到3D AIGC產(chǎn)品和應(yīng)用層。中科深智除了為生態(tài)合作伙伴提供AI虛擬人API外，還開發(fā)了一系列3D AIGC產(chǎn)品，包括超寫實(shí)虛擬人生成系統(tǒng)Anyhuman、元宇宙電商和虛擬人直播工具百寶箱自動(dòng)播、AI快速動(dòng)畫生成系統(tǒng)自動(dòng)畫、虛擬人實(shí)時(shí)交互和應(yīng)答系統(tǒng)云小七

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）