“DriveGPT雪湖·海若將重塑汽車(chē)智能化技術(shù)路線(xiàn),面向全行業(yè)開(kāi)放。毫末有信心在中國(guó)第一個(gè)進(jìn)入自動(dòng)駕駛3.0時(shí)代。”在4月11日舉行的第八屆HAOMO AI DAY上,毫末智行CEO顧維灝在《DriveGPT雪湖·海若驅(qū)動(dòng)自動(dòng)駕駛3.0時(shí)代加速到來(lái)》的演講中,重磅發(fā)布自動(dòng)駕駛生成式大模型DriveGPT,中文名“雪湖·海若”,并分享了圍繞大模型的應(yīng)用能力,以及介紹了中國(guó)首個(gè)自動(dòng)駕駛數(shù)據(jù)智能體系MANA和中國(guó)自動(dòng)駕駛行業(yè)最大智算中心MANA OASIS雪湖·綠洲最新升級(jí)。同時(shí),顧維灝還宣布雪湖·海若智能駕駛能力首發(fā)車(chē)型將落地在即將量產(chǎn)上市的新摩卡DHT-PHEV上。

(毫末智行CEO顧維灝)

重塑汽車(chē)智能化技術(shù)路線(xiàn),毫末發(fā)布自動(dòng)駕駛生成式大模型DriveGPT雪湖·海若

當(dāng)下,AI大模型的落地應(yīng)用再度引發(fā)廣泛關(guān)注,而不同行業(yè)領(lǐng)域的從業(yè)者,也在積極探索面向各自細(xì)分行業(yè)行之有效的AI大模型。在AI自動(dòng)駕駛領(lǐng)域,毫末是大模型研發(fā)和應(yīng)用的先行者。AI DAY現(xiàn)場(chǎng),顧維灝重磅發(fā)布自動(dòng)駕駛生成式大模型DriveGPT,中文名雪湖·海若。

(毫末自動(dòng)駕駛生成式大模型毫末DriveGPT,中文名“雪湖·海若”)

“海若”出自《莊子·秋水》。《莊子·秋水》中有兩個(gè)神話(huà)人物河伯和北海若。河伯請(qǐng)教北海若,何謂大小之分,北海若教導(dǎo),不因天地而覺(jué)大,不因毫末而覺(jué)小。因此,毫末把DriveGPT中文名命名為“雪湖·海若”,寓意著智慧包容、海納百川,為行業(yè)發(fā)展貢獻(xiàn)力量。

毫末DriveGPT雪湖·海若通過(guò)引入駕駛數(shù)據(jù)建立RLHF(人類(lèi)反饋強(qiáng)化學(xué)習(xí))技術(shù),對(duì)自動(dòng)駕駛認(rèn)知決策模型進(jìn)行持續(xù)優(yōu)化。DriveGPT雪湖·海若的目標(biāo)是實(shí)現(xiàn)端到端自動(dòng)駕駛,現(xiàn)階段主要用于解決自動(dòng)駕駛的認(rèn)知決策問(wèn)題,后續(xù)持續(xù)會(huì)將毫末多個(gè)大模型的能力整合到DriveGPT雪湖·海若。目前,毫末DriveGPT雪湖·海若實(shí)現(xiàn)了模型架構(gòu)與參數(shù)規(guī)模的升級(jí),參數(shù)規(guī)模達(dá)到1200億,預(yù)訓(xùn)練階段引入4000萬(wàn)公里量產(chǎn)車(chē)駕駛數(shù)據(jù),RLHF階段引入 5萬(wàn)段人工精選的困難場(chǎng)景接管Clips。

DriveGPT雪湖·海若的底層模型采用GPT(Generative Pre-trained Transformer)生成式預(yù)訓(xùn)練大模型,與ChatGPT使用自然語(yǔ)言進(jìn)行輸入與輸出不同,DriveGPT雪湖·海若面向自動(dòng)駕駛場(chǎng)景,輸入是感知融合后的文本序列,輸出是自動(dòng)駕駛場(chǎng)景文本序列,即將自動(dòng)駕駛場(chǎng)景Token化,形成“Drive Language”,最終完成自車(chē)的決策規(guī)控、障礙物預(yù)測(cè)以及決策邏輯鏈的輸出等任務(wù)。

(DriveGPT雪湖·海若的技術(shù)原理介紹)

顧維灝對(duì)DriveGPT雪湖·海若的實(shí)現(xiàn)過(guò)程進(jìn)行了詳細(xì)的解釋。首先在預(yù)訓(xùn)練階段通過(guò)引入量產(chǎn)駕駛數(shù)據(jù),訓(xùn)練初始模型,再通過(guò)引入駕駛接管Clips數(shù)據(jù)完成反饋模型(Reward Model)的訓(xùn)練,然后再通過(guò)強(qiáng)化學(xué)習(xí)的方式,使用反饋模型去不斷優(yōu)化迭代初始模型,形成對(duì)自動(dòng)駕駛認(rèn)知決策模型的持續(xù)優(yōu)化。同時(shí),DriveGPT雪湖·海若還會(huì)根據(jù)輸入端的提示語(yǔ)以及毫末CSS自動(dòng)駕駛場(chǎng)景庫(kù)的決策樣本去訓(xùn)練模型,讓模型學(xué)習(xí)推理關(guān)系,從而將完整駕駛策略拆分為自動(dòng)駕駛場(chǎng)景的動(dòng)態(tài)識(shí)別過(guò)程,完成可理解、可解釋的推理邏輯鏈生成。

(DriveGPT雪湖·海若的實(shí)現(xiàn)過(guò)程)

顧維灝還在現(xiàn)場(chǎng)宣布雪湖·海若智能駕駛能力首發(fā)車(chē)型是即將量產(chǎn)上市的新摩卡DHT-PHEV。他表示,雪湖·海若可以逐步應(yīng)用到城市NOH、捷徑推薦、智能陪練以及脫困場(chǎng)景中。有了雪湖·海若的加持,車(chē)輛行駛會(huì)更安全,動(dòng)作更人性、更絲滑,并有合理的邏輯告訴駕駛者,車(chē)輛為何選擇這樣的決策動(dòng)作。對(duì)于普通用戶(hù)來(lái)說(shuō),車(chē)輛越來(lái)越像老司機(jī),用戶(hù)對(duì)智能產(chǎn)品的信任感會(huì)更強(qiáng),理解到車(chē)輛的行為都是可預(yù)期、可理解的。

(毫末雪湖·海若智能駕駛能力首發(fā)車(chē)型:新摩卡DHT-PHEV)

目前,毫末DriveGPT雪湖·海若已正式對(duì)行業(yè)開(kāi)放,開(kāi)啟對(duì)限量首批客戶(hù)的合作,北京交通大學(xué)計(jì)算機(jī)與信息技術(shù)學(xué)院、高通、火山引擎、華為云、京東科技、四維圖新、魏牌新能源、英特爾等已經(jīng)加人。DriveGPT雪湖·海若對(duì)行業(yè)提供開(kāi)放服務(wù),將促進(jìn)自動(dòng)駕駛的從業(yè)者和研究機(jī)構(gòu)快速構(gòu)建基礎(chǔ)能力,釋放創(chuàng)新。

(毫末自動(dòng)駕駛生成式大模型雪湖·海若對(duì)行業(yè)開(kāi)放)

當(dāng)前,毫末在使用數(shù)據(jù)過(guò)程中,逐步建立起一套基于4D Clips駕駛場(chǎng)景識(shí)別方案,具備極高性?xún)r(jià)比。在行業(yè)上,給出正確的標(biāo)注結(jié)果,一張圖片需要約5元;如果使用DriveGPT雪湖·海若的場(chǎng)景識(shí)別服務(wù),一張圖片的價(jià)格將下降到0.5元。單幀圖片整體標(biāo)注成本僅相當(dāng)于行業(yè)的1/10。接下來(lái),毫末會(huì)將圖像幀及4D Clips自場(chǎng)景識(shí)別服務(wù)逐步向行業(yè)開(kāi)放使用,這將大幅降低行業(yè)使用數(shù)據(jù)的成本,提高數(shù)據(jù)質(zhì)量,從而加速自動(dòng)駕駛技術(shù)的快速發(fā)展。

(雪湖·海若場(chǎng)景識(shí)別能力對(duì)外開(kāi)放,價(jià)格為行業(yè)當(dāng)前水平的十分之一)

MANAOASIS升級(jí)三大能力,為DriveGPT雪湖·海若提供算力支持

云端算力對(duì)于大模型平穩(wěn)落地運(yùn)行不可或缺。此前,毫末已經(jīng)構(gòu)建了中國(guó)自動(dòng)駕駛行業(yè)最大的智算中心MANA OASIS(雪湖·綠洲)。活動(dòng)上,顧維灝介紹,在DriveGPT雪湖·海若的算力支持方面, MANA OASIS從算力優(yōu)化等層面升級(jí)了三大能力。

(MANA OASIS雪湖·綠洲)

首先,毫末與火山引擎全新搭建了“全套大模型訓(xùn)練保障框架”,實(shí)現(xiàn)了異常任務(wù)分鐘級(jí)捕獲和恢復(fù)能力,可以保證千卡任務(wù)連續(xù)訓(xùn)練數(shù)個(gè)月沒(méi)有任何非正常中斷,有效保證了大模型訓(xùn)練穩(wěn)定性。

其次,將“增量式學(xué)習(xí)”推廣到大模型訓(xùn)練,構(gòu)建 DriveGPT雪湖·海若大模型學(xué)習(xí)系統(tǒng)。毫末研發(fā)出以真實(shí)數(shù)據(jù)回傳為核心的增量學(xué)習(xí)技術(shù),并將其推廣到了大模型訓(xùn)練,構(gòu)建了一個(gè)大模型持續(xù)學(xué)習(xí)系統(tǒng),自主研發(fā)任務(wù)級(jí)彈性伸縮調(diào)度器,分鐘級(jí)調(diào)度資源,集群計(jì)算資源利用率達(dá)到95%。

最后,優(yōu)化關(guān)鍵算子,以提升數(shù)據(jù)吞吐量,提升 DriveGPT雪湖·海若大模型訓(xùn)練效率。MANA OASIS通過(guò)引入火山引擎提供的Lego算子庫(kù)實(shí)現(xiàn)算子融合,端到端吞吐提升84%,滿(mǎn)足大模型訓(xùn)練的效率要求。

MANA視覺(jué)感知能力持續(xù)提升,MANA架構(gòu)全線(xiàn)升級(jí)開(kāi)放賦能

毫末打造的中國(guó)首個(gè)自動(dòng)駕駛數(shù)據(jù)智能體系MANA,在經(jīng)過(guò)一年多的應(yīng)用迭代后,本次AI DAY也迎來(lái)了全面的升級(jí)。顧維灝介紹,首先,感知和認(rèn)知相關(guān)大模型能力統(tǒng)一整合到DriveGPT雪湖·海若;其次,計(jì)算基礎(chǔ)服務(wù)針對(duì)大模型訓(xùn)練在參數(shù)規(guī)模、穩(wěn)定性和效率方面做了專(zhuān)項(xiàng)優(yōu)化,并集成到OASIS當(dāng)中;第三,增加了使用NeRF技術(shù)的數(shù)據(jù)合成服務(wù),降低Corner Case數(shù)據(jù)的獲取成本;最后,還針對(duì)多種芯片和多種車(chē)型的快速交付難題,優(yōu)化了異構(gòu)部署工具和車(chē)型適配工具。

(中國(guó)首個(gè)自動(dòng)駕駛數(shù)據(jù)智能體系MANA全面升級(jí),開(kāi)放賦能)

此外,MANA的視覺(jué)感知能力持續(xù)提升,一方面可同時(shí)學(xué)習(xí)三維空間結(jié)構(gòu)和圖片紋理,并將純視覺(jué)測(cè)距精度超過(guò)了超聲波雷達(dá),也使得BEV方案也擁有了更強(qiáng)的通用性和適配性;另一方面,可實(shí)現(xiàn)單趟和多趟純視覺(jué)NeRF三維重建,道路場(chǎng)景更逼真,肉眼幾乎看不出差異。通過(guò)NeRF進(jìn)行場(chǎng)景重建后,可以編輯合成真實(shí)環(huán)境難以收集到的CornerCase。在原有的全局視角修改、添加光照/天氣效果的基礎(chǔ)上,新增合成虛擬動(dòng)態(tài)物體的能力,可以在原有設(shè)定的運(yùn)動(dòng)軌跡上,合成各種Hard Case,模擬城市復(fù)雜交通環(huán)境,用更低成本測(cè)試提升城市NOH能力邊界,更好提升應(yīng)對(duì)城市復(fù)雜交通環(huán)境。

(MANA視覺(jué)感知能力進(jìn)展)

值得一提的是,面對(duì)目前行業(yè)里最難的視覺(jué)任務(wù)之一——單目視覺(jué)測(cè)量,繼特斯拉后,毫末也在中國(guó)率先開(kāi)始驗(yàn)證能否使用魚(yú)眼相機(jī)代替超聲波雷達(dá)進(jìn)行測(cè)距,以滿(mǎn)足泊車(chē)要求。毫末把視覺(jué)BEV感知框架引入到了車(chē)端魚(yú)眼相機(jī),做到了在15米范圍內(nèi)達(dá)到30cm的測(cè)量精度,2米內(nèi)精度高于10cm的視覺(jué)精度效果。泊車(chē)場(chǎng)景使用純視覺(jué)測(cè)距來(lái)取代超聲波雷達(dá),將進(jìn)一步降低整體智駕成本。

(毫末純視覺(jué)測(cè)距精度可以使用魚(yú)眼相機(jī)取代超聲波雷達(dá))

在演講最后,顧維灝表達(dá)了毫末人的技術(shù)信仰,“毫末成立到現(xiàn)在接近三年半時(shí)間……毫末對(duì)技術(shù)的堅(jiān)定投入始終未變。毫末人始終熱愛(ài)技術(shù),枕戈待旦,全力沖刺。再難,都不會(huì)放棄。所愛(ài)隔山海,山海皆可平。技術(shù)必將改變世界!”

（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）