Hypereal 定位燈塔
眾所周知,HTC Vive是VR領(lǐng)域最優(yōu)秀的頭顯之一,而之所以能做到這點(diǎn),很重要的一個原因就是應(yīng)用了 Valve 的 Lighthouse 激光定位技術(shù),為頭顯帶來房間級的游玩體驗(yàn),同時也幫助實(shí)現(xiàn)了手柄的動捕操控??梢哉f Lighthouse 是 Vive 的核心技術(shù)之一。
現(xiàn)在,這一核心技術(shù)被國內(nèi)創(chuàng)業(yè)公司 Hypereal開源了。當(dāng)然,開源的并不是 Valve 的技術(shù),而是 Hypereal 研發(fā)的版本。Valve 此前亦將 Lighthouse 開放給第三方廠商,但并沒有開放源代碼。
今天,Hypereal 在其官網(wǎng)上放出其激光定位系統(tǒng)的源代碼和技術(shù)文檔。從各模塊開源內(nèi)容詳解來看,主要圍繞著核心的激光定位技術(shù),包含硬件、軟件和算法。基于這一整套源代碼,第三方可以自行開發(fā)出一套帶室內(nèi)激光定位的VR設(shè)備。
據(jù)Hypereal 介紹,開源的內(nèi)容主要包括以下三個部分:
硬件部分, Hypereal 激光定位系統(tǒng)硬件部分設(shè)計(jì)與實(shí)現(xiàn)細(xì)節(jié)都在此次開源中有介紹,內(nèi)容涉及電路與嵌入式軟件。開源涉及的組件均由 Hypereal 激光定位系統(tǒng)原理性驗(yàn)證機(jī)版本總結(jié)整理而來,去除了驗(yàn)證系統(tǒng)設(shè)計(jì)中其他與定位特性無關(guān)的內(nèi)容。系統(tǒng)整體結(jié)構(gòu)上分為相對獨(dú)立的兩大部分,分別是作為定位信標(biāo)的激光線束掃描燈塔與被定位設(shè)備。
軟件部分,Hypereal 的定位設(shè)備,包括 IMU 和 Light Sensor 的驅(qū)動程序以及 sample 程序都徹底提供。有了這些驅(qū)動程序,VR HMD 和解決方案提供商能很容易獲取被定位設(shè)備的姿態(tài)和位置信息,燈塔的位置和狀態(tài),并和 Hypereal 定位算法庫集成,第三方可以把 HYPEREAL 的燈塔定位方案集成到自己的 SDK 或者應(yīng)用中。
算法部分,Hypereal 直接提供了一個完整的燈塔定位算法庫,包括所有的核心算法模塊:燈塔掃描和 IMU 數(shù)據(jù)的解析和處理,姿態(tài)求解算法,數(shù)據(jù)融合算法,雙燈塔融合算法,運(yùn)動預(yù)測算法等等。算法庫框架完全基于模塊化設(shè)計(jì),開發(fā)者可以基于此框架一鍵式進(jìn)行算法研究和定制開發(fā)工作。
Hypereal 創(chuàng)始人黃柴銘
Hypereal 這次開源是早有預(yù)告的,在該公司于去年 ChinaJoy 上發(fā)布首款產(chǎn)品后,就宣布要將自家的激光定位技術(shù)開源。至于為什么要開源,該公司 CEO 黃柴銘是這樣解釋的:
壟斷意味著高價,但 Hypereal 的愿景是為大眾提供性價比最高的VR解決方案。目前的燈塔方案雖然效果好,但是技術(shù)實(shí)現(xiàn)難度比較高,不利于VR產(chǎn)品的普及。我們把自主研發(fā)的燈塔技術(shù)完全開源出來,是希望更多人參與到該技術(shù)的研發(fā)和改進(jìn)中來,加快技術(shù)的成熟和成本的降低,以此來促進(jìn)產(chǎn)業(yè)的發(fā)展。我們的下一代產(chǎn)品將采用全新的技術(shù),請大家拭目以待。
關(guān)于 Hypereal 的激光定位技術(shù)
根據(jù) Hypereal 此前發(fā)表在公眾號的一篇文章介紹,燈塔(lighthouse)定位技術(shù)的最早原型是在1989年被提出的 Minnesota Scanner,其原理是利用掃描激光面對空間進(jìn)行編碼進(jìn)而對物體做跟蹤。而后有很多人基于相似原理做了改進(jìn)用于不同領(lǐng)域的應(yīng)用中。Valve首先把它成功的帶到了VR消費(fèi)電子領(lǐng)域。
Hypereal圖形技術(shù)總監(jiān)陳祿在去年 CGDC 的演講中,對該公司研發(fā)的燈塔定位技術(shù)進(jìn)行了介紹:
HyTrack早期原型、基本原理
這是我們公司自己研發(fā)的比較早期的原型,做得比較裸。左邊是燈塔,有兩個電機(jī),電機(jī)上面有透鏡,這里有一個小動畫演示燈塔的結(jié)構(gòu),可以看到通過透鏡把一束激光變?yōu)橐粋€扇面,再利用電機(jī)使得激光面勻速掃描。
中間的部分是我們頭顯的早期原型,上面有很多小的線路板就是我們自己制作的傳感器模塊,每一個中心有一個光電二極管。傳感器把光信號轉(zhuǎn)成電信號再到數(shù)字信號,然后傳到計(jì)算機(jī)里?;驹砣缟蠄D,左邊這一塊是激光掃描扇面的頂視圖,激光會從一個基準(zhǔn)位置開始向下掃。在掃過基準(zhǔn)位置時刻,我們會發(fā)射一個無線同步信號。藍(lán)線是掃到每個光電二極管的激光面。
右邊的圖是傳感器上面的時序圖,從收到無線同步信號的時候開始計(jì)時,當(dāng)被光掃過的時候,會留下一個很小的間距的光脈沖,測量脈沖中點(diǎn)時刻,結(jié)合電機(jī)轉(zhuǎn)速,我們可以計(jì)算得到該掃描面相對基準(zhǔn)平面的夾角。這樣我們就知道這個點(diǎn)處在空間當(dāng)中哪一個平面上。通過兩個方向的掃描,被照到的傳感器點(diǎn)我們可以確定其在空間當(dāng)中的某條直線上。
在這里我們和VIVE采用了不同的技術(shù)方案,他們使用的光同步,燈塔會有LED燈。無線同步的好處是,燈塔之間不用同步線連接了,或者燈塔不用互相對著擺放。兩種方案在工程實(shí)現(xiàn)上的區(qū)別很大,測量手段也會不一樣,但是本質(zhì)上都是為了獲得同步信號時間。
他接著解釋了算法原理,主要是基于一個數(shù)學(xué)模型:
數(shù)學(xué)模型
我們通過光學(xué)系統(tǒng)所得到的其實(shí)是兩個角度,這樣就可以知道,這個物體的某些點(diǎn)在投影平面上的坐標(biāo)。這里等同于一個小孔成像的相機(jī)模型,也可以很好地表達(dá)成一個線性的約束。
在靜止?fàn)顟B(tài)下我們已知傳感器點(diǎn)的相對位置,當(dāng)物體運(yùn)動過之后,可以得到某些點(diǎn)的掃描觀測值,因?yàn)樗徽盏?,它會處在這個空間當(dāng)中某兩個面的交線上,這個可以很好的寫成一個線性約束表達(dá)式,可以把它們聯(lián)立起來,相當(dāng)于做一個最優(yōu)化的問題,我需要求解在滿足這些約束情況下最優(yōu)的旋轉(zhuǎn)和平移。
這個問題其實(shí)是一個比較標(biāo)準(zhǔn)的問題,求解的方法也非常多,其實(shí)在視覺領(lǐng)域,對這類問題有很多人做過不同的方法,比如說你怎么樣參數(shù)化你的旋轉(zhuǎn),就會有不同的方法,基本上這個應(yīng)該算是一個比較成熟的問題。
算法流程圖
以上我們提到的是激光系統(tǒng)的原理,但不要忘了,在頭盔和手柄上還可以利用IMU。其實(shí)在有陀螺儀、加速器和磁力器的情況下,IMU本身也可以做定位工作,但是它有個很大的問題——會漂移。
其實(shí)我們對這個物體姿態(tài)有兩個數(shù)據(jù)來源,一個是IMU,一個是激光系統(tǒng),這兩套系統(tǒng)理論上都可以獨(dú)立對這個姿態(tài)進(jìn)行估計(jì),IMU的好處是采樣頻率高在短時間內(nèi)相對來說比較精確,壞處是稍微長一點(diǎn)時間就會有較大漂移。而激光系統(tǒng)則是在大尺度下相對比較精確,但是它可能被遮擋和有誤差。我們要做的工作之一就是怎么把這兩個信號融合在一起。
這就是我們HyTrack定位系統(tǒng)的基本原理。
Vive 會受到威脅嗎?
前文已經(jīng)提到,Lighthouse 定位是 HTC Vive 的核心技術(shù)優(yōu)勢之一,而 Hypereal 也表示,基于這一整套源代碼,第三方可以自行開發(fā)出一套帶室內(nèi)激光定位的VR設(shè)備。那么這一開源舉措對業(yè)內(nèi)會有怎樣的影響呢?對 Vive 來說又意味著什么?
為此雷鋒網(wǎng)詢問了幾位業(yè)內(nèi)人士的看法。
一位同樣從事 VR 空間定位領(lǐng)域,不愿具名的人士對雷鋒網(wǎng)表示:
開源是一個非常好的舉動,這種開放的做法必然加大國內(nèi)的技術(shù)交流水平,推動國內(nèi)VR行業(yè)的整體發(fā)展。
但激光定位是一套整體的工程,代碼電路圖只是整個技術(shù)環(huán)節(jié)中的一部分,如果要實(shí)現(xiàn)真正的產(chǎn)品化,還將面對大量的問題——軟硬件的集成度還很低,大量的Know-how必須處理。正是因?yàn)檫@樣,所以一些國內(nèi)的從業(yè)者會選擇與專業(yè)廠商進(jìn)行適配,定向開源。
VR定位領(lǐng)域的技術(shù)研發(fā),90%的功力要花在最后10%的優(yōu)化上,只有做完這10%,才能真正達(dá)到國際大廠的水平??傮w上這套代碼足夠業(yè)余愛好者搭建一個基礎(chǔ)Demo實(shí)用,但如果真的要形成量產(chǎn)的產(chǎn)品,還有較長一段路要走。
實(shí)際上,國內(nèi)另一家同樣推出了激光定位方案的公司 G-Wearable 也將自家的技術(shù)開源了,但是只針對廠商。“因?yàn)檫@東西制造難度不低,就算開源,沒有很認(rèn)真的投入也做不出來。”G-Wearable CEO 郭成告訴雷鋒網(wǎng)(公眾號:雷鋒網(wǎng))。
UCVR聯(lián)合創(chuàng)始人 & CEO 胡金暉認(rèn)為,
Hypereal 的光塔定位技術(shù)和 Vive 很相似(或者說理論基礎(chǔ)一樣,實(shí)現(xiàn)方式大體一樣),但在一些細(xì)節(jié)地方實(shí)現(xiàn)方式有不同。
體驗(yàn)效果的好壞其實(shí)來源于很多技術(shù)細(xì)節(jié)。比如我在西雅圖學(xué)習(xí) Vive 光塔技術(shù)的時候Synapas 提到了多種產(chǎn)生誤差的可能,和他們具體的解決方法。但從這兩份文件里面沒有提到細(xì)節(jié),所以不好判斷。
但有一點(diǎn)我很欣賞這個團(tuán)隊(duì),他們把 Lighthouse 做出來了。不管別人再說抄襲也好怎樣也好,能做出來就是王道,而且 Hypereal 也有自己的創(chuàng)新點(diǎn) 希望他們盡早以專利的形式將自己保護(hù)起來。
對于行業(yè)的意義主要還是在于精神層面,因?yàn)檫@種技術(shù)想被廣泛授權(quán)有點(diǎn)難度,真的背后還是要有一個平臺支持(套用 HTC 汪叢青的話)。精神層面就是能夠給予中國技術(shù)流派 VR 公司一劑強(qiáng)心劑。
雷鋒網(wǎng)編輯也曾體驗(yàn)過 Hypereal 的產(chǎn)品 demo,發(fā)現(xiàn)它可以提供接近 Vive 的體驗(yàn),但仍存在抖動及穩(wěn)定性欠缺等問題。
總體來說,Hypereal 開源受到業(yè)內(nèi)歡迎,但其影響如何仍有待觀察。至于對 Vive 的影響,顯然還是有限的。
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長
- 英偉達(dá)涉嫌違反反壟斷法 市場監(jiān)管總局依法決定立案調(diào)查
- 上海敲定5G-A發(fā)展目標(biāo):到2026年發(fā)展500萬用戶,建設(shè)3.2萬個3CC基站
- 中國電信注資10億成立天通衛(wèi)星科技公司,將推動衛(wèi)星通信手機(jī)向3000元下探
- 上汽今年銷量或會被比亞迪反超,痛失18年“中國車企銷量冠軍”
- 英特爾CEO基辛格名為退休,實(shí)為被董事會趕下臺?
- 華為申請多枚鴻蒙辦公商標(biāo),涉及辦公用品等多個領(lǐng)域
- “數(shù)智化”登頂《咬文嚼字》十大流行語,數(shù)智技術(shù)應(yīng)用深入人心
- IDC預(yù)計(jì):2028年AI基礎(chǔ)設(shè)施支出將超1000億美元
- 韓系動力電池裝機(jī)量下挫,三大廠商市占率降至17.2%,落后寧王比亞迪
- 全球折疊屏手機(jī)霸主,Q3份額大跌21%,拖累行業(yè)整體下滑1%
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進(jìn)一步核實(shí),并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。