3月31日,LiveVideoStackCon音視頻技術(shù)大會(huì)北京站正式開(kāi)幕,本次大會(huì)以“音視頻+無(wú)限可能”為主題,邀請(qǐng)業(yè)內(nèi)眾多企業(yè)、技術(shù)專家、學(xué)者,共同探討多媒體音視頻在技術(shù)升級(jí)、業(yè)務(wù)場(chǎng)景以及應(yīng)用創(chuàng)新等方面的探索與實(shí)踐。Nreal聯(lián)合創(chuàng)始人、算法負(fù)責(zé)人吳克艱博士受邀出席,分享在AR行業(yè)產(chǎn)品技術(shù)和應(yīng)用落地等方向的心得和體會(huì)。吳克艱博士本科畢業(yè)于浙江大學(xué)竺可楨學(xué)院,信息科學(xué)與電子工程學(xué)系,后赴美國(guó)明尼蘇達(dá)大學(xué)電子與計(jì)算機(jī)工程學(xué)系留學(xué),并取得博士學(xué)位,留美期間曾參與多項(xiàng)由業(yè)內(nèi)知名企業(yè)主導(dǎo)的研發(fā)項(xiàng)目,其中包括與 Google 的 Tango 和 ARCore 項(xiàng)目合作,研究基于視覺(jué)慣性的定位導(dǎo)航和建圖算法、及其在移動(dòng)平臺(tái)上的虛擬現(xiàn)實(shí) (VR)和增強(qiáng)現(xiàn)實(shí)(AR)的應(yīng)用。
音視頻技術(shù)在整體大環(huán)境的影響下,近年來(lái)呈現(xiàn)出迅猛的發(fā)展趨勢(shì)。吳克艱博士聚焦AR行業(yè),從互聯(lián)網(wǎng)發(fā)展、底層關(guān)鍵技術(shù)、Nreal在行業(yè)中的探索和成果三個(gè)角度進(jìn)行了分享。對(duì)于未來(lái)互聯(lián)網(wǎng)的發(fā)展,吳克艱博士認(rèn)為AR作為連接虛擬世界和現(xiàn)實(shí)世界的橋梁,本質(zhì)上是把虛擬的數(shù)字化信息與物理三維環(huán)境相融合,使人們可以更好地進(jìn)行數(shù)字化信息的獲取與交互,形成真正的“虛實(shí)融合”。因此,AR眼鏡也成為被普遍認(rèn)可的下一代個(gè)人計(jì)算平臺(tái)。
以下為吳克艱博士演講全文:
我是來(lái)自Nreal的吳克艱,今天非常高興跟各位音視頻社區(qū)專家和從業(yè)者們?cè)贏R行業(yè)產(chǎn)品技術(shù)和應(yīng)用落地等方向,分享我們的一些心得和體會(huì)。
根據(jù)進(jìn)化論的觀點(diǎn),人類從猿猴往人類進(jìn)化當(dāng)中,有兩種事情非常重要,一個(gè)是人的直立行走,第二是人對(duì)工具的使用,現(xiàn)在大家平常使用的電腦或者手機(jī)是對(duì)于我們個(gè)人來(lái)說(shuō)確實(shí)是一個(gè)非常強(qiáng)有力的算力平臺(tái),給我們帶來(lái)生活和工作各方面的便利。但是我們經(jīng)常會(huì)看到,當(dāng)大家在使用電腦和用手機(jī)的時(shí)候,一方面它給我們帶來(lái)了便利,另外一方面又把人限制在非常有限的使用方式、使用場(chǎng)景和空間中。我們經(jīng)常伏在案前去使用電腦,低著頭玩手機(jī),相當(dāng)于人從直立狀態(tài)回到卷曲狀態(tài),我們應(yīng)該要解決的一個(gè)問(wèn)題就是通過(guò)下一代互聯(lián)網(wǎng)智能終端或者個(gè)人算力平臺(tái)終端,讓人重新從彎著腰的狀態(tài)重新直立起來(lái)。
我們回顧過(guò)去幾十年互聯(lián)網(wǎng)發(fā)展,最開(kāi)始由PC個(gè)人電腦作為終端,在這一代的互聯(lián)網(wǎng)上,主要解決的是個(gè)人算力的問(wèn)題。最近這十年、二十年智能手機(jī)發(fā)展,我們每個(gè)人擁有了自己可移動(dòng)算力平臺(tái),主要解決的是移動(dòng)和連接的問(wèn)題。對(duì)于這樣的平臺(tái)來(lái)說(shuō),為了移動(dòng)便捷性和可攜帶性,其實(shí)犧牲的是屏幕尺寸,我們跟它的交互方式相對(duì)還是比較單一,只能通過(guò)點(diǎn)擊觸摸屏的方式。我們認(rèn)為從解放體驗(yàn)角度來(lái)說(shuō),下一代的互聯(lián)網(wǎng)對(duì)應(yīng)的個(gè)人計(jì)算平臺(tái)終端首先要把我們整個(gè)顯示和交互空間,重新從一個(gè)有限2D屏幕釋放到我們平時(shí)正常生活的真實(shí)物理空間,也就是3D物理空間。
整個(gè)交互方式也不僅僅局限于小的屏幕,而是在生活中通過(guò)語(yǔ)言、視覺(jué)、手勢(shì)等方式跟真實(shí)的物體、人交互,我們覺(jué)得下一代互聯(lián)網(wǎng)體驗(yàn)定義為空間互聯(lián)網(wǎng)。因?yàn)橐獙?shí)現(xiàn)整個(gè)在真實(shí)物理環(huán)境中疊加顯示所有3D的數(shù)字信息,最關(guān)鍵的核心技術(shù)就是我們所謂的AR眼鏡硬件平臺(tái)。
空間互聯(lián)網(wǎng)硬件平臺(tái)包括整個(gè)硬件基礎(chǔ)設(shè)施,包括計(jì)算芯片、傳感器、通信等。再往就是交互入口,就像VR或者AR眼鏡形態(tài)。軟件數(shù)據(jù)層包括操作系統(tǒng)包等數(shù)據(jù)層面的東西。最上面才是體驗(yàn)層,包括3D內(nèi)容開(kāi)發(fā)平臺(tái),最后才是對(duì)普通用戶來(lái)說(shuō)可以看到的一套體驗(yàn)的應(yīng)用。
我們認(rèn)為空間互聯(lián)網(wǎng)會(huì)是下一代互聯(lián)網(wǎng)的發(fā)展方向,主要解決的是體驗(yàn)和效率問(wèn)題。作為下一代空間互聯(lián)網(wǎng)核心的入口和計(jì)算平臺(tái),AR眼鏡想要實(shí)現(xiàn)虛實(shí)結(jié)合功能,有三個(gè)非常核心功能或者底層技術(shù),3D顯示、3D感知和3D交互。從3D顯示技術(shù)上看,非常重要一件事情是提升屏幕尺寸。從有限物理顯示屏變成無(wú)限大的數(shù)字顯示屏是我們覺(jué)得AR眼鏡首先從顯示尺寸這一維度帶來(lái)的提升。對(duì)于AR或者空間互聯(lián)網(wǎng)來(lái)說(shuō)需要把整個(gè)虛擬場(chǎng)景跟現(xiàn)實(shí)世界結(jié)合,并可以感知和識(shí)別到周圍才可以交互。3D感知和交互技術(shù)最主要核心技術(shù)是算法。很多功能是由計(jì)算機(jī)視覺(jué)相關(guān)的算法功能所帶來(lái)的。
在AR、VR行業(yè)里面常見(jiàn)的計(jì)算機(jī)視覺(jué)技術(shù)在行業(yè)里面的應(yīng)用大概分為以下的幾個(gè)方向,首先是運(yùn)動(dòng)追蹤者,包括對(duì)頭顯的追蹤和對(duì)周圍場(chǎng)景物體的追蹤。從交互方面看,既包括一些控制器、手柄這樣的交互,也包括眼動(dòng)交互,通過(guò)眼動(dòng)的追蹤和交互技術(shù)可以通過(guò)你的眼睛指向來(lái)選擇一些東西。從3D感知來(lái)看,包括對(duì)周圍環(huán)境幾何結(jié)構(gòu)和語(yǔ)音的感知,以及對(duì)整個(gè)空間3D地圖的建立和3D場(chǎng)景的定位。
提到交互就不能不提到Chat GPT,鋼鐵俠電影非常好的展示AR和ChatGPT這種個(gè)人助手的結(jié)合,鋼鐵俠可以呼喚JARVIS作為助手幫你,通過(guò)AR顯示包括對(duì)周圍環(huán)境的識(shí)別,就能對(duì)周圍有一個(gè)AR化的控制。由此來(lái)看,ChatGPT對(duì)AR行業(yè)來(lái)說(shuō)也是非常革命化的突破,基于Chat GPT的強(qiáng)大的計(jì)算分析能力,未來(lái)AR眼鏡可能將成為世界上最了解你的個(gè)人助手。
介紹完前面幾個(gè)關(guān)鍵技術(shù)以后,最后一個(gè)部分簡(jiǎn)單跟大家分享在Nreal在這個(gè)行業(yè)探索的歷程和心得。Nreal是一個(gè)給消費(fèi)者端的AR行業(yè)帶來(lái)一些突破的公司,我們定義為全球第一款消費(fèi)者形態(tài)的AR眼鏡。我們的主要產(chǎn)品包括硬件和軟件系統(tǒng)兩個(gè)部分,硬件有兩代產(chǎn)品,分別是Nreal Light和Nreal Air。我們?nèi)ツ觊_(kāi)始正式大規(guī)模售賣叫Nreal Air的眼鏡,最后取得的十萬(wàn)臺(tái)出貨量的成績(jī),雖然這個(gè)體量跟手機(jī)行業(yè)遠(yuǎn)遠(yuǎn)不及,但是在消費(fèi)級(jí)AR來(lái)說(shuō)是前所未有的突破。
那么Nreal的眼鏡,作為AR眼鏡首先是可以看到外面世界的,但是你必須要做它做的足夠輕薄、時(shí)尚和好看,大家可才愿意把它戴上。另一方面所提供的是一個(gè)雙目的1080P的高清顯示,它等效的顯示大小相當(dāng)于在4米處200寸的屏幕的效果,并且我們?cè)谡麄€(gè)佩戴體驗(yàn)上面做了非常多的優(yōu)化,那有了這樣一個(gè)眼鏡以后,我們認(rèn)為對(duì)消費(fèi)者來(lái)說(shuō)有哪些場(chǎng)景呢?首先就是口袋巨幕,隨時(shí)隨地都有一個(gè)非常大的可攜帶屏幕。我們也跟蔚來(lái)這樣的車企合作,在整個(gè)車上從技術(shù)上也解決了很多像抖動(dòng)等等這樣一些防眩暈的問(wèn)題,給汽車上的娛樂(lè)體驗(yàn)也實(shí)現(xiàn)了升級(jí)。我們也在適配性方面做了很多努力,因?yàn)槟壳靶袠I(yè)還并沒(méi)有標(biāo)準(zhǔn)各種平臺(tái)軟件硬件的接口定義還沒(méi)有完全拉齊,為了讓我們產(chǎn)品適合各種各樣的手機(jī)軟件、游戲主機(jī)等平臺(tái),我們做了非常多的努力。
最后總結(jié)一下,我們認(rèn)為短期之內(nèi),Nreal Air主打顯示、移動(dòng)數(shù)字屏取代物理屏的市場(chǎng)是合理并且存在,短期之內(nèi)會(huì)在娛樂(lè)、辦公等等場(chǎng)景里面體驗(yàn)升級(jí),從長(zhǎng)期來(lái)看我們還是期待AR真正能力的釋放,因?yàn)锳R能力不僅僅是一個(gè)顯示,更多是我們所說(shuō)對(duì)周圍信息重新3D化的組織和跟真實(shí)世界的結(jié)合,也就是剛才一開(kāi)始介紹的空間互聯(lián)網(wǎng),以上是我們所分享的內(nèi)容,在硬件和交互體驗(yàn)去應(yīng)用產(chǎn)品,非常歡迎大家去體驗(yàn)。
(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 )