2020年4月16日，2020年軟件定義存儲(chǔ)線上峰會(huì)第二天，青云QingCloud資深解決方案架構(gòu)師張忠華，分享了對(duì)象存儲(chǔ)在無人駕駛所需的高精度地圖上的場(chǎng)景實(shí)踐，介紹了QingStor®?對(duì)象存儲(chǔ)的種種優(yōu)勢(shì)以及許多針對(duì)該場(chǎng)景的特性，在面對(duì)特殊的數(shù)據(jù)處理需求時(shí)，QingStor®?對(duì)象存儲(chǔ)在架構(gòu)上的許多創(chuàng)新也令人印象深刻。

無人駕駛為什么如此依賴高精度地圖

許多人都知道無人駕駛，也沒幾個(gè)人不知道地圖，但高精度地圖并不是誰都知道的，簡(jiǎn)單說，高精度地圖不是給人看的，而是給自動(dòng)駕駛的汽車來用的，它和我們?nèi)粘Ｊ褂玫亩貓D差異非常大，它包含的信息也也更復(fù)雜。

無人駕駛主要分為四個(gè)階段，感知、定位、決策和控制。感知階段中，車輛依靠車載傳感器獲取道路與環(huán)境信息，然而，在實(shí)際情況中，由于天氣、環(huán)境存在非常大的不確定性，僅僅依靠傳感器是無法實(shí)現(xiàn)自動(dòng)駕駛的。每種傳感器都有各自的感知缺陷和限制，激光傳感器，高分辨率攝像機(jī)都會(huì)受到干擾，還都會(huì)有檢測(cè)盲區(qū)。

高精度地圖就是為了解決這些問題，在無人駕駛第二階段定位和第三階段車輛的行使決策階段，都高度依賴高精度地圖來做出決策，高精度地圖對(duì)于無人駕駛來說是非常的重要。L3 級(jí)以上駕駛級(jí)別，高精度地圖是標(biāo)準(zhǔn)配置，沒有高精度地圖，車輛寸步難行。

這就是高精度地圖和自動(dòng)駕駛的關(guān)系，那么高精度地圖到底包含哪些具體的信息呢?

原來，高精度地圖必須包含兩類數(shù)據(jù)：

第一類，道路本身的數(shù)據(jù)，比如車道線位置、類型、寬度、坡度和曲率道路信息;

第二類，環(huán)境信息，比如交通標(biāo)志，信號(hào)燈，限行信息，路邊地標(biāo)等基礎(chǔ)設(shè)施信息。

由此可見，高精度地圖包含的信息是非常復(fù)雜和多樣的。

由于地圖采集設(shè)備的精度不同，產(chǎn)生的數(shù)據(jù)大小也會(huì)不同，但可以看出，高精度地圖數(shù)據(jù)的體量極為龐大，一輛標(biāo)準(zhǔn)的數(shù)據(jù)采集車大概有4到5個(gè)傳感器，每臺(tái)數(shù)據(jù)采集車每天可采集百公里左右路程，大約會(huì)產(chǎn)生一個(gè)TB的數(shù)據(jù)。

對(duì)于高精度地圖而言，采集和制圖，只是完成了無人駕駛地圖制作過程的10%的工作量，后期地圖長(zhǎng)期的更新，可能需要占90%的工作量，地圖的更新一般都會(huì)采用車隊(duì)學(xué)習(xí)網(wǎng)絡(luò)(Fleet Learning Network)，類似于P2P，每輛車最終都是地圖數(shù)據(jù)貢獻(xiàn)者，也是資源的享用者，特斯拉用的就是這種地圖的更新模式。

在無人駕駛汽車正式量產(chǎn)后，上路行使時(shí)需要全天候不停讀取地圖數(shù)據(jù)，更大的壓力來自于實(shí)時(shí)地圖數(shù)據(jù)的更新。在后期地圖更新中，數(shù)據(jù)采集車帶來的大量數(shù)據(jù)并發(fā)壓力是非常大的。

高精度地圖和QingStor®?對(duì)象存儲(chǔ)

張忠華詳細(xì)介紹了QingStor®?對(duì)象存儲(chǔ)在高精度地圖場(chǎng)景中的應(yīng)用。

高精度地圖的制作流程可以分為四個(gè)步驟：經(jīng)過采集和預(yù)處理后，數(shù)據(jù)會(huì)寫入到對(duì)象存儲(chǔ)中，之后由對(duì)象存儲(chǔ)將數(shù)據(jù)輸出到AI超級(jí)訓(xùn)練一體機(jī)，比如英偉達(dá)DGX-1，由訓(xùn)練一體機(jī)做復(fù)雜的數(shù)據(jù)處理，超級(jí)訓(xùn)練一體機(jī)性能非常強(qiáng)大，但面對(duì)采集到的海量數(shù)據(jù)，處理能力也會(huì)捉襟見肘，在它完成處理之前，采集到的數(shù)據(jù)仍需要存儲(chǔ)在對(duì)象存儲(chǔ)中，訓(xùn)練完成后，數(shù)據(jù)需要寫回到對(duì)象存儲(chǔ)做長(zhǎng)期留存。

在這一場(chǎng)景中，對(duì)象存儲(chǔ)貫穿了整個(gè)高精度地圖的全部制作過程，負(fù)責(zé)海量地圖數(shù)據(jù)的轉(zhuǎn)儲(chǔ)以及后期地圖長(zhǎng)期存儲(chǔ)，目前QingStor®?對(duì)象存儲(chǔ)在這一個(gè)場(chǎng)景中整體數(shù)據(jù)規(guī)模已經(jīng)有10個(gè)PB，預(yù)估在三年后，總體規(guī)模會(huì)達(dá)到40PB。

在這樣的場(chǎng)景中，QingStor®?對(duì)象存儲(chǔ)有一個(gè)具體的數(shù)據(jù)流架構(gòu)圖，圖中可見，當(dāng)數(shù)據(jù)由數(shù)據(jù)采集車完成以后，會(huì)通過程序接口將數(shù)據(jù)寫入到對(duì)象存儲(chǔ)中，再由AI訓(xùn)練一體機(jī)DGX-1處理對(duì)象存儲(chǔ)中的數(shù)據(jù)，處理完成的數(shù)據(jù)再入對(duì)象存儲(chǔ)。

該場(chǎng)景部署了單一全局統(tǒng)一命名空間的對(duì)象存儲(chǔ)集群，從架構(gòu)上看，它并不復(fù)雜，唯一需要特別關(guān)注的點(diǎn)是使用對(duì)象存儲(chǔ)場(chǎng)景中，業(yè)務(wù)部門需要有一定的接口開發(fā)和對(duì)接的能力。在實(shí)際應(yīng)用場(chǎng)景，高精度地圖對(duì)對(duì)象存儲(chǔ)也帶來了不少挑戰(zhàn)。

高精度地圖帶來的挑戰(zhàn)以及對(duì)象存儲(chǔ)的應(yīng)對(duì)之道

首先一大挑戰(zhàn)是對(duì)性能和空間需求不確定性的挑戰(zhàn)，在地圖的前期制作過程中，采集車的數(shù)量是相對(duì)固定的，數(shù)據(jù)生成量也相對(duì)固定，從業(yè)務(wù)形態(tài)上來看，并發(fā)壓力也相對(duì)固定。然而，后期地圖更新則可能會(huì)導(dǎo)致較大并發(fā)，并發(fā)訪問壓力和數(shù)據(jù)寫入壓力變化比較大。

面對(duì)這一情況，QingStor®?對(duì)象存儲(chǔ)采用了分層設(shè)計(jì)架構(gòu)，主要核心的存儲(chǔ)平臺(tái)分為接入子系統(tǒng)和索引子系統(tǒng)以及負(fù)責(zé)具體數(shù)據(jù)存儲(chǔ)的存儲(chǔ)子系統(tǒng)，這樣就可以單獨(dú)根據(jù)并發(fā)壓力和存儲(chǔ)空間需求進(jìn)行單獨(dú)擴(kuò)展，而且不同角色的服務(wù)器節(jié)點(diǎn)還可以使用不同的配置，從而物盡其用，不浪費(fèi)資源。

第二個(gè)挑戰(zhàn)在于數(shù)據(jù)安全和服務(wù)可靠性。由于自動(dòng)駕駛過程中對(duì)地圖依賴度比較高，對(duì)于數(shù)據(jù)訪問可靠性的要求極高，但是分布式存儲(chǔ)在海量存儲(chǔ)場(chǎng)景下，在有節(jié)點(diǎn)故障或者擴(kuò)容時(shí)都需要對(duì)數(shù)據(jù)進(jìn)行重構(gòu)和平衡，對(duì)數(shù)據(jù)進(jìn)行重構(gòu)和平衡的出發(fā)點(diǎn)是好的，它可以讓節(jié)點(diǎn)的負(fù)載更加均衡，但在超大規(guī)模的數(shù)據(jù)場(chǎng)景下，在局部的新增和刪除可能都會(huì)對(duì)集群產(chǎn)生影響，如何避免對(duì)于數(shù)據(jù)訪問可靠性的影響呢?

QingStor®?對(duì)象存儲(chǔ)將龐大的存儲(chǔ)集群分成若干個(gè)存儲(chǔ)服務(wù)器小組來縮小故障域，不同的存儲(chǔ)組之間毫無關(guān)聯(lián)，他們只接收來自接入層的服務(wù)調(diào)度。

當(dāng)有節(jié)點(diǎn)故障時(shí)，只會(huì)對(duì)同組的三個(gè)節(jié)點(diǎn)有影響，不會(huì)影響到別的存儲(chǔ)組，從而避免對(duì)整個(gè)集群的影響。當(dāng)需要擴(kuò)容時(shí)，優(yōu)先寫入新擴(kuò)容的節(jié)點(diǎn)，只將數(shù)據(jù)寫入優(yōu)先級(jí)權(quán)重比較大的存儲(chǔ)組中，舊存儲(chǔ)組的數(shù)據(jù)不做任何變動(dòng)。這樣就規(guī)避了對(duì)于超大規(guī)模集群的影響。

第三個(gè)挑戰(zhàn)在于數(shù)據(jù)類型的多樣性。地圖采集的數(shù)據(jù)類型非常豐富，常規(guī)存儲(chǔ)都會(huì)對(duì)數(shù)據(jù)進(jìn)行固定分片，分片一定在程度上是會(huì)影響存儲(chǔ)效率的。QingStor®?對(duì)象存儲(chǔ)不做分片，用戶可以設(shè)定在一定范圍內(nèi)的數(shù)據(jù)都不做任何處理，直接生成副本，讓用戶按照需求設(shè)置，從而保證不同類型和大小文件的存儲(chǔ)效率。

第四個(gè)挑戰(zhàn)來自于數(shù)據(jù)交互平臺(tái)的多樣性，地圖的制作過程中會(huì)涉及多個(gè)地圖制作平臺(tái)和軟件，涉及到多種開發(fā)語言接口，QingStor®?對(duì)象存儲(chǔ)的SDK支持大多數(shù)語言，除了支持S3之外，還支持許多青云QingCloud自有的API接口。

由于此類場(chǎng)景會(huì)涉及數(shù)據(jù)遷移和導(dǎo)入導(dǎo)出，所以，也需要對(duì)象存儲(chǔ)支持多種數(shù)據(jù)遷移工具，QingStor®?對(duì)象存儲(chǔ)支持業(yè)界主流的云廠商對(duì)象存儲(chǔ)，可以提供工具在這些平臺(tái)之間自定義數(shù)據(jù)源和數(shù)據(jù)目標(biāo)。

QingStor®?對(duì)象存儲(chǔ)帶來的收益和價(jià)值

QingStor®?對(duì)象存儲(chǔ)在高精度地圖場(chǎng)景中表現(xiàn)出的價(jià)值主要有四點(diǎn)：

第一，較高的ROI回報(bào)，分層架構(gòu)的設(shè)計(jì)，可以支持用戶根據(jù)業(yè)務(wù)需求進(jìn)行擴(kuò)容，可以減少資源浪費(fèi)問題。

第二點(diǎn)，QingStor®?對(duì)象存儲(chǔ)技術(shù)架構(gòu)非常成熟，經(jīng)過了大規(guī)模公有云平臺(tái)驗(yàn)證，用戶不需要考慮太多的存儲(chǔ)平臺(tái)層的設(shè)計(jì)，只需專注在業(yè)務(wù)上。

第三點(diǎn)，較高的性價(jià)比，目前QingStor®?對(duì)象存儲(chǔ)應(yīng)用較為普遍，除了今天說的用在無人駕駛領(lǐng)域，在大數(shù)據(jù)分析平臺(tái)上也能作為大數(shù)據(jù)平臺(tái)的數(shù)據(jù)存儲(chǔ)，可以作為數(shù)據(jù)源和數(shù)據(jù)存儲(chǔ)目標(biāo)，用一套平臺(tái)實(shí)現(xiàn)多種用途，降低整體的TCO。

第四點(diǎn)，極低的運(yùn)維成本，QingStor®?對(duì)象存儲(chǔ)作為一款穩(wěn)定的商業(yè)級(jí)產(chǎn)品，擁有完善的服務(wù)技術(shù)支持團(tuán)隊(duì)，如果出現(xiàn)一些問題，技術(shù)團(tuán)隊(duì)會(huì)在第一時(shí)間做除響應(yīng)，對(duì)用戶來說，大規(guī)模數(shù)據(jù)集場(chǎng)景中只需要很少的運(yùn)維人員，用戶反映說，在運(yùn)維上的投入非常少，不需要運(yùn)維人員具備非常深厚的知識(shí)。

QingStor®?對(duì)象存儲(chǔ)有大規(guī)模服務(wù)的經(jīng)驗(yàn)，在產(chǎn)品上有許多非常有針對(duì)性的特性和服務(wù)，在生態(tài)上，與業(yè)界很多廠商做了一些聯(lián)合解決方案。

QingStor®?企業(yè)級(jí)分布式存儲(chǔ)家族除了有對(duì)象存儲(chǔ)，還有文件存儲(chǔ)和塊存儲(chǔ)，作為一個(gè)獨(dú)立的存儲(chǔ)產(chǎn)品線，可以脫離公有云，進(jìn)行私有化部署。如今的QingStor®?企業(yè)級(jí)分布式存儲(chǔ)廣泛地服務(wù)于銀行、保險(xiǎn)、能源、制造、醫(yī)療和傳媒等行業(yè)。QingStor®?用基于x86的軟件定義存儲(chǔ)可以幫助傳統(tǒng)企業(yè)降低TCO，同時(shí)加速傳統(tǒng)企業(yè)的數(shù)字化轉(zhuǎn)型升級(jí)。

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）