近日，人工智能國際頂級學(xué)術(shù)會議 AAAI 2024 落下帷幕，會上揭曉數(shù)字人技術(shù)競賽結(jié)果，由中國科學(xué)技術(shù)大學(xué)信息學(xué)院自動化系於俊老師帶隊的中國科學(xué)技術(shù)大學(xué)與云知聲共同組建的USTC-IAT-United團隊榮獲自監(jiān)督人臉幾何重建賽道第3名、半監(jiān)督3D顱骨重建賽道第2名的優(yōu)異成績。

自監(jiān)督人臉幾何重建競賽獲獎證書

半監(jiān)督 3D 顱骨重建競賽獲獎證書

AAAI，即國際先進(jìn)人工智能協(xié)會(Association for the Advancement of Artificial Intelligence)，是全球人工智能領(lǐng)域內(nèi)的領(lǐng)先國際學(xué)術(shù)組織。該協(xié)會的核心使命在于促進(jìn)對思想和智能行為及其在機器中實現(xiàn)的科學(xué)機制的深入理解。其每年舉辦的國際會議是人工智能領(lǐng)域里歷史最悠久、涵蓋內(nèi)容最廣泛的的國際頂級學(xué)術(shù)會議之一，今年已是第38屆。

此次數(shù)字人技術(shù)競賽包含自監(jiān)督人臉幾何重建、半監(jiān)督3D顱骨重建、音頻驅(qū)動說話頭生成的多模態(tài)學(xué)習(xí)、音頻驅(qū)動的協(xié)同語音手勢視頻生成4個賽道，匯集全球數(shù)百支高校和科研機構(gòu)的專業(yè)團隊參與競技。

在自監(jiān)督人臉幾何重建挑戰(zhàn)賽中，面對數(shù)據(jù)缺乏、幾何信息復(fù)雜、光照和姿勢變化、紋理信息缺失、過擬合和泛化能力不足等多重困難，USTC-IAT-United團隊采用coarse-to-fine的框架，首先利用現(xiàn)有的3DMM-based方法deep3d，預(yù)測人臉的低頻幾何部分，生成對應(yīng)的positionmap及texturemap，為后續(xù)的細(xì)節(jié)預(yù)測奠定基礎(chǔ);接著，團隊運用兩個串聯(lián)的pix2pix網(wǎng)絡(luò)，分別預(yù)測deformationmap和displacementmap，進(jìn)一步細(xì)化人臉的幾何特征。通過結(jié)合預(yù)測的精細(xì)化幾何、光照、優(yōu)化后的漫反射貼圖，進(jìn)行可微分渲染，得到重建的人臉圖像。為了確保重建質(zhì)量，團隊通過計算中頻和高頻渲染人臉與原圖之間的損失，引導(dǎo)人臉幾何形態(tài)的細(xì)微變化，從而捕捉到更多的幾何細(xì)節(jié)。在整個過程中，USTC-IAT-United團隊將人臉幾何分解為三個層次，分別在人臉整體、頂點級別和像素細(xì)節(jié)上進(jìn)行建模，實現(xiàn)了人臉重建的高精度和高精細(xì)度。最終，團隊從17個不同的視角出發(fā)，為重建的3D人臉生成了紋理和法線渲染圖像，充分展示了其在人臉幾何重建領(lǐng)域的技術(shù)突破和創(chuàng)新成果。

在半監(jiān)督3D顱骨重建挑戰(zhàn)賽中，面對標(biāo)注數(shù)據(jù)的稀缺和不精確、領(lǐng)域偏差、模型復(fù)雜性以及評估難題，USTC-IAT-United運用偽標(biāo)簽技術(shù)，充分發(fā)揮無標(biāo)注數(shù)據(jù)的潛力，通過半監(jiān)督學(xué)習(xí)方法增強模型訓(xùn)練。為了提升模型性能，團隊設(shè)計了一種多模型交叉?zhèn)螛?biāo)簽策略，結(jié)合CNN和Transformer的特征提取優(yōu)勢，實現(xiàn)了模型間的相互監(jiān)督，有效增強了特征提取能力。同時，團隊利用 ConvNeXt 模塊的可擴展性，針對稀疏注釋醫(yī)療的挑戰(zhàn)進(jìn)行定制，設(shè)計用于 3D 醫(yī)學(xué)圖像分割的完全 ConvNeXt 架構(gòu)，并將其建立與 nnUNet (v2)訓(xùn)練框架之上。此外，通過從2D和3D兩個維度進(jìn)行模型融合，進(jìn)一步增強了3D顱骨重建水平。

云知聲全棧AGI技術(shù)與產(chǎn)業(yè)化布局

作為中國AGI技術(shù)產(chǎn)業(yè)化的先行者，云知聲于2016年建立了Atlas人工智能基礎(chǔ)設(shè)施，并據(jù)此開發(fā)了具有通用能力的專有大模型山海(UniGPT)，成為公司技術(shù)平臺云知大腦(UniBrain)的新核心，與多模態(tài)感知與生成、知識圖譜、物聯(lián)平臺等各類智能組件相結(jié)合，為云知聲智慧生活、智慧醫(yī)療、智慧交通等業(yè)務(wù)提供高效的產(chǎn)品化支撐，致力推動千行百業(yè)的智慧化升級。

作為云知大腦(UniBrain)的重要組成部分，云知聲數(shù)字人技術(shù)只需一次3分鐘真人素材錄入，即可生成一個聲音、動作自然，口型精準(zhǔn)，多語種精通的數(shù)字人分身，可適用于教育、電商、新聞、自媒體等多種場景。此次奪得1亞1季的優(yōu)異成績，充分印證了云知聲在數(shù)字人領(lǐng)域的技術(shù)創(chuàng)新實力，也將激勵云知聲進(jìn)一步夯實AGI技術(shù)底座，為構(gòu)建互聯(lián)直覺的世界持續(xù)貢獻(xiàn)力量。

人工智能技術(shù)的快速發(fā)展和廣泛應(yīng)用，正不斷打破各個行業(yè)的發(fā)展瓶頸，重塑不同產(chǎn)業(yè)的生產(chǎn)和運營模式。展望未來，云知聲將繼續(xù)堅定走在技術(shù)研發(fā)的前沿，持續(xù)推進(jìn)通用人工智能(AGI)領(lǐng)域的研究與突破，為各行各業(yè)帶來新的增長范式與無限可能。

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）