科技領(lǐng)域,既有用元宇宙開發(fā)布會(huì)的公司,也有All in元宇宙的公司,很多虛擬世界已經(jīng)建立起來,人們面臨的問題正在變成:真實(shí)世界中,人類創(chuàng)造了億萬種物品豐富著我們的生活,那么如何才能快速復(fù)制這些物品到全新的元宇宙世界中呢?
3D內(nèi)容對(duì)于元宇宙至關(guān)重要,很多科技公司正在推出用于構(gòu)建虛擬世界的工具,隨著計(jì)算機(jī)圖形技術(shù)、元宇宙和AI之間的交集越來越多,這些技術(shù)也在不斷升級(jí)。
最近,華為HMS Core3D建模服務(wù)發(fā)布了人形角色自動(dòng)建模和骨骼綁定的功能,引起了我們的注意。
看到一個(gè)可愛的手辦,在想能不能擁有它的3D虛擬形象?只用手機(jī)圍繞手辦拍攝一圈,就能構(gòu)建一個(gè)造型精準(zhǔn)的3D模型并為其自動(dòng)綁定骨骼。
在導(dǎo)入動(dòng)作數(shù)據(jù)后,它不僅可以隨你走動(dòng)、向你招手,還可以完成跳舞等復(fù)雜動(dòng)作。
在開放的Demo App中,我們只需要用普通手機(jī)攝像頭圍繞目標(biāo)物體進(jìn)行一通360度拍攝,清晰的3D模型即可生成。除了Q版的動(dòng)漫手辦以外,毛絨玩具或者機(jī)器人等人形角色也可以被掃描成模型并賦予骨骼。
那么它的能力到底如何呢?我們也實(shí)際操作了一把,我們用華為的技術(shù)給機(jī)器之心的毛絨玩偶構(gòu)建了3D模型并綁定好骨骼。
只需使用視頻中的同款動(dòng)作數(shù)據(jù)驅(qū)動(dòng)模型,就可以跳同款舞蹈啦:
如果四肢短小的玩偶都可以搞定的話,看起來絕大多數(shù)人形角色都是沒問題的!
通過AI能力用2D照片生成3D模型,是人工智能學(xué)術(shù)會(huì)議中的一個(gè)熱門領(lǐng)域,剛剛過去的國(guó)際頂會(huì)CVPR上就有數(shù)十篇這個(gè)方向的論文。通過對(duì)物體的不同角度進(jìn)行拍攝,將2D圖像轉(zhuǎn)換為三角網(wǎng)格模型,生成的3D模型可供建筑師、設(shè)計(jì)師、藝術(shù)家和游戲開發(fā)者導(dǎo)入圖形引擎,并可以在此基礎(chǔ)上修改比例、更改材料或嘗試不同的照明效果。而如今,前沿技術(shù)的一部分已經(jīng)成為了手機(jī)上的應(yīng)用,不禁讓人感嘆科技發(fā)展的速度。
3D建模,手機(jī)也行
快速構(gòu)建3D模型的能力來自華為終端云服務(wù)開放能力合集HMS Core,其擁有3D建模、3D引擎、AREngine等多個(gè)圖形領(lǐng)域的開放服務(wù)。其中,3D建模服務(wù)可以給我們帶來很多想象空間,可以用在商品展示、教學(xué)、虛擬人物,甚至動(dòng)畫制作上。
華為HMS Core3D建模服務(wù),不需要用TOF、深度攝像頭或LiDAR激光雷達(dá)等特殊硬件,只需要一個(gè)普通手機(jī)的RGB攝像頭即可完成建模。
這個(gè)過程在使用者看來是「一鍵生成」的,背后經(jīng)歷的卻是一系列復(fù)雜的處理過程。
高精度的幾何重建需要先進(jìn)行物體分割,將目標(biāo)物與背景分離,并進(jìn)行圖像匹配、特征提取和深度估計(jì),AI算法通過分析不同角度的圖像來判斷位置關(guān)系,生成點(diǎn)云構(gòu)建3D模型,再計(jì)算出紋理材質(zhì)對(duì)模型表面進(jìn)行貼圖。
在這個(gè)過程中,華為利用自研的高低模技術(shù),通過計(jì)算剔除冗余的面片,可以用更低的面片數(shù)(5萬以下)達(dá)成高面片數(shù)(10萬及以上)模型的效果,在中低端手機(jī)上也能實(shí)現(xiàn)精細(xì)的視覺效果。
自動(dòng)生成3D虛擬形象的「筋骨」
為了讓模型動(dòng)起來,我們還需要對(duì)模型進(jìn)行「骨骼綁定」:
傳統(tǒng)流程中,骨骼綁定也需要?jiǎng)赢嫀熓止硗瓿?,HMS Core的能力大幅提升了動(dòng)畫制作的效率:通過自動(dòng)的骨骼綁定和蒙皮權(quán)重估計(jì),HMS Core可以讓你剛剛掃描出來的3D模型在導(dǎo)入動(dòng)作數(shù)據(jù)后活動(dòng)起來。
值得一提的是,在這個(gè)領(lǐng)域,此前少數(shù)實(shí)現(xiàn)自動(dòng)關(guān)節(jié)估計(jì)的方法都需要目標(biāo)模型擺好標(biāo)準(zhǔn)姿態(tài)。華為利用AI算法減少了人為規(guī)則的需求,可以支持非對(duì)稱的多種姿態(tài)。
面對(duì)模型的各種姿態(tài),AI算法需要大量數(shù)據(jù)進(jìn)行訓(xùn)練,但在3D模型重建任務(wù)上,業(yè)內(nèi)其實(shí)并沒有這樣的數(shù)據(jù)集。
對(duì)此,華為自研了一套3D人形角色自動(dòng)生成框架,可以基于千百個(gè)模型數(shù)據(jù),生成數(shù)十萬甚至是上百萬的角色模型和骨骼。通過數(shù)據(jù)增強(qiáng),HMS Core支持了非對(duì)稱姿態(tài)、不同體型和類別的人形角色的自動(dòng)骨骼綁定。
投射到現(xiàn)實(shí)世界
最后,若想將構(gòu)建好的3D模型呈現(xiàn)在真實(shí)的世界中,實(shí)現(xiàn)真人與3D虛擬物體交互的效果,還需要準(zhǔn)確高效的AR能力。
華為HMS Core的AR Engine通過整合算法實(shí)現(xiàn)了厘米級(jí)的精準(zhǔn)定位,開發(fā)者可以通過這些能力讓虛擬世界與現(xiàn)實(shí)世界自然地融合在一起。
例如,AR Engine提供了光照估計(jì)和環(huán)境Mesh能力,使得3D虛擬形象的影子會(huì)隨著燈光變化,并可被現(xiàn)實(shí)世界中的物體擋住,帶來更自然的視覺交互體驗(yàn)。
圖形領(lǐng)域能力全面開放,加速元宇宙時(shí)代到來
隨著業(yè)界虛實(shí)融合步伐加快,華為HMS Core全面開放圖形領(lǐng)域的相關(guān)能力,助力開發(fā)者高效構(gòu)建虛實(shí)融合的數(shù)字世界。
圖片來自2022年7月HUAWEI Developer Day(簡(jiǎn)稱HDD)杭州站主論壇現(xiàn)場(chǎng)
開發(fā)者可以通過直接調(diào)用軟件接口獲得華為圖形領(lǐng)域的核心能力,節(jié)省大量時(shí)間和精力,高效完成應(yīng)用開發(fā)。
相信有了這種能力的加持,或許下一個(gè)爆款的App已在路上,元宇宙時(shí)代也將加速到來。(文章來源于公眾號(hào):機(jī)器之心)
(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )