極客網(wǎng)6月24日消息，今天，由汽車創(chuàng)新港、NewCar?？W(wǎng)主辦的“預(yù)見未來：人工智能和自動駕駛技術(shù)論壇”在上海盛大舉行，論壇圍繞人工智能在自動駕駛汽車領(lǐng)域的應(yīng)用實(shí)踐這一話題，深入探討駕駛輔助、自動駕駛、高精度地圖、環(huán)境感知、語音識別、軟件系統(tǒng)等技術(shù)難點(diǎn)和重點(diǎn)。極客網(wǎng)作為合作支持媒體，將為您帶來全程報(bào)道。

論壇邀請了沃爾沃汽車智能駕駛事業(yè)部高級經(jīng)理張立存博士、地平線機(jī)器人智能駕駛業(yè)務(wù)總監(jiān)李星宇，亞太機(jī)電智能網(wǎng)聯(lián)事業(yè)部 技術(shù)總監(jiān)梁濤年博士，QNX大中華區(qū)總經(jīng)理張人杰，吉利汽車主動安全科經(jīng)理李博博士，閱面科技創(chuàng)始人（前阿里巴巴算法總監(jiān)）趙京雷博士，慧眼科技 CEO（Imprezzeo創(chuàng)始人）單霆博士，上海傲碩信息科技總經(jīng)理鄭天堂先生，中科慧眼創(chuàng)始人副總經(jīng)理孟然先生做主題分享。

第六位出場演講的是地平線機(jī)器人智能駕駛事業(yè)部總監(jiān)李星宇，他演講的標(biāo)題目是《通往自動駕駛的深度學(xué)習(xí)之旅》。

以下是演講速記整理內(nèi)容：

之前嘉賓更多關(guān)注在自動駕駛應(yīng)用這個領(lǐng)域，趙博士更專注于機(jī)器人這一塊，就是我們究竟應(yīng)該怎么樣去知道，讓機(jī)器了解這個世界，知道了這個世界之后，后面我們?nèi)绾卧谲嚿先?yīng)用它。

接下來是今天最后一位壓軸嘉賓，來自地平線機(jī)器人的李星宇李星宇李總，下面有請李總跟我們分享一下。

李星宇：非常感謝大家還堅(jiān)持到底，說明對我們這個論壇是真正的有興趣的嘉賓。我是來自于底線線機(jī)器人汽車業(yè)務(wù)的負(fù)責(zé)人李星宇，地平線機(jī)器人成立有一年的時間，創(chuàng)始人余凱是百度深度學(xué)習(xí)研究院的院長，也算是國內(nèi)第一個深度學(xué)習(xí)的研究院是他建立的。他成立了地平線這家公司，專注于深度學(xué)習(xí)技術(shù)的開發(fā)，所以在今天我想跟大家分享的主題就是如何將深度學(xué)習(xí)和自動駕駛結(jié)合在一起。

應(yīng)該說在今年的AlphaGo和李世石的對決當(dāng)中，大家對于機(jī)器人的關(guān)注已經(jīng)到了一個非常高的水準(zhǔn)，其實(shí)自動學(xué)習(xí)已經(jīng)有不少的時間。今年豐田有做過一個Demo的系統(tǒng)，他做了是8輛車并沒有被教任何的駕駛規(guī)則，就是隨意往前開，這8輛車會置于一個訓(xùn)練系統(tǒng)之下，經(jīng)過八個小時的訓(xùn)練之后，八個小時下來沒有碰撞，這真是了不起的事情。

通過資本界我們來看，這些10億美元的投入都可以真金白銀的能夠證明整個業(yè)界對于深度學(xué)習(xí)和增強(qiáng)學(xué)習(xí)技術(shù)的看好。

為什么我們需要把這樣一個技術(shù)運(yùn)用在自動駕駛領(lǐng)域？千言萬語可以歸結(jié)為一句話就是復(fù)雜性。我們看到很多人在很多時候會質(zhì)疑自動駕駛這件事情，其實(shí)他的質(zhì)疑覺得就是復(fù)雜，你可以看到在十字路口，非常復(fù)雜的路況。包括中國進(jìn)入汽車社會不久，駕駛技術(shù)有待提高的特殊的國情，變道非常頻繁，拐彎很多時候也很暴力。這樣一個場景其實(shí)對于傳統(tǒng)的ADAS有很大的挑戰(zhàn)性，而這種復(fù)雜性恰恰是深度學(xué)習(xí)的一個優(yōu)勢。

當(dāng)然很多人也會問，在自動駕駛領(lǐng)域是不是人就沒有作用了？我們很長一段時間在自動駕駛領(lǐng)域，人和車的關(guān)系其實(shí)并不是一個簡單的服務(wù)與被服務(wù)的關(guān)系，而是人和馬之間的關(guān)系。意味著是什么？其實(shí)馬并不知道在一個大的方向該怎么走，是快一點(diǎn)還是慢一點(diǎn)，這個是需要人來控制和調(diào)節(jié)。而馬能做的就是，無論你告訴還是不告訴，前面是懸崖就會停下來，意味著自動駕駛可以在微觀的一個層面，能夠把風(fēng)險(xiǎn)降到極低的水平。而在高層次的體驗(yàn)層面，更多的是以跟人配合的關(guān)系，它會去理解你。所以在自動駕駛領(lǐng)域很重要的一個話題就是對于駕駛習(xí)慣的學(xué)習(xí)。自動駕駛習(xí)慣的學(xué)習(xí)不僅僅是一個標(biāo)準(zhǔn)的駕駛，還有包括特殊駕駛風(fēng)格的學(xué)習(xí)。

這是一個非常標(biāo)準(zhǔn)的美國高速公路管理局的對于自動駕駛的分析，應(yīng)該說，從我們跟車廠的溝通里面可以看到，現(xiàn)在研發(fā)的重點(diǎn)還是基于Leve13，就是高度的無人駕駛。它的主要不同跟Leve4的不同在于，一個就是保證在任何情況下都可以做緊急碰撞的防止，第二個就是在條件良好的道路上部分實(shí)現(xiàn)自動駕駛，從現(xiàn)在實(shí)踐的情況來看，高速公路上應(yīng)該不是有太大的問題?，F(xiàn)在主要解決的是高速公路上的一些特殊的案例和條件比較好的城區(qū)主干上的案例，比如上海的中環(huán)、內(nèi)環(huán)、外環(huán)的情況下，尤其紅綠燈情況下需要一些特殊案例的深度學(xué)習(xí)。

我們介紹了一個背景之后，稍微回來談一下深度學(xué)習(xí)為什么會受到重視。大家現(xiàn)在都覺得“深度學(xué)習(xí)”這個詞特別火熱。第一個為什么它會受到重視？應(yīng)該說深度學(xué)習(xí)出現(xiàn)的歷史其實(shí)非常久，最久的歷史可以追溯到50年代末，在漫長的發(fā)展時期里面是幾經(jīng)起伏，有它的高潮的時候也有低谷的時代。從現(xiàn)在的情況來看深度學(xué)習(xí)最具吸引力的一點(diǎn)就是端到端的學(xué)習(xí)。舉例，以自動學(xué)習(xí)的系統(tǒng)去識別一個圖片，比如這個圖片讓是一個人，它會把圖片作為輸入一個名字，你可以看到人臉的信息量通常是幾兆，幾百萬個字節(jié)，最終輸出的就是幾個字節(jié)，就是端到端，可以把非常復(fù)雜的非結(jié)構(gòu)化的數(shù)字轉(zhuǎn)化為精簡數(shù)字化的表達(dá)，包括語音、語言、圖像、視頻都是非結(jié)構(gòu)化的，包括金融的交易產(chǎn)生的數(shù)據(jù)都是非結(jié)構(gòu)化的。

從目前的情況來看，第一個它非常適合大數(shù)據(jù)時代，在過去的年代，其實(shí)大家也是在研究深度學(xué)習(xí)的算法，那個時候還不叫深度學(xué)習(xí)，叫深度神經(jīng)網(wǎng)絡(luò)。但是發(fā)現(xiàn)很難把它調(diào)校得好，因?yàn)槟莻€時候?qū)W的都是一個小量的，幾千個樣本，就想把它調(diào)到一個非常好的水準(zhǔn)，其實(shí)是不可能的。后來大數(shù)據(jù)出來以后，這個性能就飆升，最終的一個例子就是2012年的時候愛萊克斯和他的老師參加了圖片分類識別的比賽，一下子從過去的74%提高到了85%，非常大的一個進(jìn)步。也就是說現(xiàn)在機(jī)器對于圖片的識別其實(shí)是優(yōu)于人眼，所以實(shí)踐效果很好。比較通俗的說法，對于這種行為的一種模擬，這種說法可能不是特別的準(zhǔn)確，事實(shí)上跟它相關(guān)聯(lián)的網(wǎng)絡(luò)，按它的類似性來說是非常復(fù)雜的，而且現(xiàn)在沒有搞得特別復(fù)雜。

機(jī)器學(xué)習(xí)技術(shù)前沿，注意力模型。圖片上是對于人臉識別過程的一個描述，如果你拋開技術(shù)不看，你直接看，你會看到圖象識別的時候，每過一個識別階段，由很多個識別階段組成。它的圖像的信息會減少一些，最開始會把圖像的彩色性去掉，只留下一個歸錄信息。第二步會把規(guī)錄中間的去掉，只留下邊緣線條的信息，然后線條會變成點(diǎn)，這是從低位空間向高位空間不斷的扭曲的過程，到最后它的圖片信息就會精簡到一個字母，所以這就叫多層的卷積神經(jīng)網(wǎng)絡(luò)。大家都知道這樣一個復(fù)雜的關(guān)系勢必會帶來數(shù)據(jù)極大的產(chǎn)生，因?yàn)榭隙ㄐ枰浅４蟮膮?shù)。

自動學(xué)習(xí)技術(shù)也在不斷的往前推薦，我們現(xiàn)在看到各個領(lǐng)域都全面推進(jìn)，比如注意力模型，什么叫注意力模型呢？舉例，在雞尾酒酒會上看到很多的人，但是你只跟其中一個或者幾個人談，這個時候你的聽覺系統(tǒng)只會注意到你想關(guān)注到的那個人的話，而把其他人的給屏蔽掉。解決了在復(fù)雜的語義環(huán)境下，會對特別的語音進(jìn)行聚焦。當(dāng)我們對這個婦女說，我要求你把飛盤作為聚焦目標(biāo)的時候，機(jī)器系統(tǒng)可以把飛盤反射出來，也就證明它準(zhǔn)確能夠聚焦到你想要它聚焦的部分，這個是非常關(guān)鍵的，因?yàn)檫@個系統(tǒng)是非常復(fù)雜的，而你只需要自動駕駛的系統(tǒng)關(guān)注車輛、車道線、人這些關(guān)鍵的信息，這樣一個技術(shù)可以使得它很有效的處理。

除了注意力模型以外還有其他的進(jìn)展，包括長時短時的記憶力模型，這個是做什么用？它會使深度學(xué)習(xí)，不僅僅是在空間，二維平面上有足夠的學(xué)習(xí)，它能記住過去發(fā)生的事情。剛才豐田的小車的Demo里面可以看到，它對瞬間場景的處理做得很好，但是有沒有想過如果場景的處理手法依賴于過去的歷史怎么辦，比如我們把魔獸和星際爭霸，下一步的動作取決于你的歷史狀態(tài)，這個時候要求你的深度神經(jīng)網(wǎng)絡(luò)需要足夠的記憶力，能夠記住過去的狀態(tài)，這個記憶力模型就是解決這個問題包括序列化等等。

增強(qiáng)學(xué)習(xí)，什么是增強(qiáng)學(xué)習(xí)？打一個比較形象的比方，如果過去的系統(tǒng)我們當(dāng)做是計(jì)劃經(jīng)濟(jì)的話，那么增強(qiáng)學(xué)習(xí)就是市場經(jīng)濟(jì)，可以理解它是一種結(jié)果導(dǎo)向的技術(shù)。準(zhǔn)確描述這是一個智能主體跟環(huán)境不斷博弈而來優(yōu)化的一個過程。比如剛才的豐田的小車是一個增強(qiáng)學(xué)習(xí)的典型的案例，如果它碰撞了給它懲罰，如果沒有碰撞給它獎勵，多輪的循環(huán)會加強(qiáng)這些行為，達(dá)到一個期待值。深度學(xué)習(xí)可以用來做環(huán)境的感知，而增強(qiáng)學(xué)習(xí)可以用來做控制的東西，這樣就可以構(gòu)成一個完整的自動駕駛系統(tǒng)。

這是一個非常典型的汽車的自動駕駛系統(tǒng)的框架圖，在圖像的左側(cè)有各種各樣的傳感輸入，這個數(shù)據(jù)來源于三個，汽車外圍的環(huán)境數(shù)據(jù)，汽車本身的狀態(tài)數(shù)據(jù)，比如車速、轉(zhuǎn)向，還有車內(nèi)人的數(shù)據(jù)，是不是疲勞駕駛，是不是要轉(zhuǎn)彎。一個是感知的融合，一個是決策。

深度學(xué)習(xí)在中間的感知和決策都是有非常大的優(yōu)勢，可以進(jìn)一步把這個事情分解一下。我們跟過內(nèi)的主機(jī)廠接觸，由于現(xiàn)在國內(nèi)有一些主機(jī)廠已經(jīng)開始比較深的自動駕駛的研發(fā)，去討論大量的細(xì)節(jié)。我們可以簡單把它劃分成這樣的一個板塊，就是態(tài)勢感知和決策控制，態(tài)勢感知一部分就是對外的態(tài)勢，就是你要對整個的環(huán)境要有感知，對內(nèi)就是對駕駛員的意要圖要有感制，包括意圖的判斷。包括對外部物理的辨識，哪些是固定障礙物，哪些是欄桿，哪些是可行駛區(qū)域。對于駕駛包括狀態(tài)的識別這個其實(shí)非常重要。這也是整個自動駕駛業(yè)界流派之爭的一個焦點(diǎn)，以谷歌為代表的，他們想做的是全自動駕駛，但是我們還是要一步一步來，這面臨有一個半自動駕駛的過程，谷歌覺得很難做到很好的人工和自動駕駛的切換，沒有辦法把這件事情做得特別的可靠。其實(shí)這個我認(rèn)為要這樣來看，首先主機(jī)廠其實(shí)已經(jīng)是一定會按照循序漸進(jìn)的過程來走，因?yàn)樗麄兪窃燔嚨?。第二個在這件事情上深度學(xué)習(xí)可以很好的幫助緩解這個問題，我們不能說一定能全部解決，至少能夠極大的緩解這件事情。因?yàn)樯疃葘W(xué)習(xí)對于駕駛員狀態(tài)的綜合理解比其他的手段要來得更好，因?yàn)樗腔诖罅繉τ隈{駛員技術(shù)分析的基礎(chǔ)上建立對它的一個綜合理解，包括他的駕駛習(xí)慣、意圖等。

決策控制包括幾個部分，就是對于車輛來講有一個局部的運(yùn)動路徑的規(guī)劃，另外規(guī)劃里面還有一個駕駛風(fēng)格的情況，比如需要運(yùn)動感強(qiáng)一點(diǎn)的，都不一樣。最后一個是執(zhí)行器控制，狀態(tài)之間形成一個閉環(huán)去調(diào)校。

應(yīng)該說在現(xiàn)在有很多初創(chuàng)的公司，包括像英偉達(dá)這樣的公司做大量的嘗試，如何把整個的系統(tǒng)用深度學(xué)習(xí)的方法進(jìn)行優(yōu)化。英偉達(dá)做得比較暴力，直接忽略了中間的決策這一部分，是直接把傳感器的輸入和車的狀態(tài)的輸入直接關(guān)聯(lián)，做這樣一個預(yù)測。也就是說Y就是執(zhí)行器剎車、油門、轉(zhuǎn)向，輸入就是車的信息、環(huán)境的信息，非常暴力，不做任何中間人工智能的分析。

自動駕駛還有一個非常重要的點(diǎn)，就是如何進(jìn)行測試，整個自動駕駛來講主要的投入還是在測試這塊，并不是做一套軟件系統(tǒng)就可以了。特斯拉做得很討巧，直接在量產(chǎn)上進(jìn)行測試，所以短時間內(nèi)積累了超過1.76億英里的速度。但是還是需要一個模擬系統(tǒng)去做這件事情，有一個模擬系統(tǒng)，如何在模擬系統(tǒng)各個主體能夠真實(shí)的模擬，這其實(shí)也是一個增強(qiáng)學(xué)習(xí)可以幫助你的。當(dāng)你創(chuàng)造了一個虛擬環(huán)境的時候，你希望用多臺的計(jì)算設(shè)備去模擬一個目標(biāo)，模擬幾十個人，模擬路牌等等，每一個都是動態(tài)的過程，它們不斷的變，比如紅綠燈會不斷的變，車輛動態(tài)的變，這樣一個復(fù)雜的結(jié)構(gòu)，其實(shí)很適合于深度學(xué)習(xí)和增強(qiáng)學(xué)習(xí)來做，包括結(jié)合模擬。

在這個方面德國的車廠寶馬和奧迪走得比較靠前，當(dāng)然包括豐田其實(shí)也是一樣，做大量的工作，這個是奧迪的汽車大腦的構(gòu)架圖，AUDI的zFAS。zFAS系統(tǒng)模塊配備了Mobileye的EyeQ3移動處理器以及英偉達(dá)TegraK1芯片。奧迪的觀念非常清晰，自動駕駛的關(guān)鍵還在學(xué)習(xí)。

地平線在這塊領(lǐng)域也是進(jìn)行了大量的工作，我們有一個品牌叫做雨果，這是汽車的一個開放平臺。

（播放視頻）這個是雨果做的整個道路的語義理解，它可以把道路各個不同種類的物體運(yùn)用不同色彩標(biāo)識出來，比如柵欄是紅色，道路是綠色，樹木是深綠，汽車是紫色，這樣一個對于道路綜合語義理解對于智能駕駛系統(tǒng)是很關(guān)鍵的，很多道路也不是結(jié)構(gòu)化的道路，比如鄉(xiāng)村的道路其實(shí)沒有車道線，柵欄也沒有，你沒有辦法通過車道線去自動駕駛，這個時候你要自己去決定該走哪一塊。

這是地平線做的識別，左上角是英偉達(dá)的，很遺憾不能秀一下動態(tài)的視頻。地平線是在北京做的測試，在這個路口的人其實(shí)非常的密集，地平線很好做了識別，并且對于出租車?yán)锩娴娜?，僅僅露一個腦袋的人也可以識別。

對于車輛檢測，地平線從去年8月開始，長期保持在KITTI排名第一的識別率。Densebox就是測試的名字。

地平線是一家專注于算法和芯片開發(fā)的公司，我們在最下端的解決方案，我們更多愿意跟業(yè)界合作伙伴，各類的公司和主機(jī)廠一起合作，一起做最后的產(chǎn)品出來。地平線的算法團(tuán)隊(duì)其實(shí)蠻國際化的，助力的算法團(tuán)隊(duì)來自于像facebook、百度、中科院。我認(rèn)為在深度學(xué)習(xí)領(lǐng)域，我們中國第一次有機(jī)會基本上跟國際的主流的開發(fā)的機(jī)構(gòu)處于差不多的一個水平線上，不能說是絕對的齊平，但是不會有太大的差別。

剛才趙總也分享了，為什么我們需要深度學(xué)習(xí)的芯片，提到很多國內(nèi)公司在宣稱自己在做這個，這是一件好事，因?yàn)榇蠹叶贾垃F(xiàn)在的計(jì)算結(jié)構(gòu)不合理。比如說舉一個例子，深度學(xué)習(xí)的輸入是高度密集化的，這種密集化輸入不太適合DSP這種，是流水線的，GPU的一個問題在哪里？在多輸入之后的下一步處理，在數(shù)據(jù)緩沖方面做得不好。很不幸的是深度學(xué)習(xí)網(wǎng)絡(luò)它的輸入是前后關(guān)聯(lián)的，在中間隱藏層的時候，這個卷積盒是要跟前置進(jìn)行卷積計(jì)算的，這就意味著首先要取參數(shù)、計(jì)算，這就會導(dǎo)致在正常的一般結(jié)構(gòu)下會大量的有外出效應(yīng)。第二個因?yàn)閹捰肋h(yuǎn)是有限的。第三個是功耗問題，這些都是非常實(shí)際的問題。還有一點(diǎn)就是，深度神經(jīng)網(wǎng)絡(luò)的參數(shù)非常多，整個業(yè)界都意識到，如果要在深度學(xué)習(xí)領(lǐng)域能夠做的話，像地平線得自己做芯片，有點(diǎn)類似于手機(jī)業(yè)界，在大約十年前的時候，手機(jī)業(yè)界還沒有一個想法說一定要做自己的芯片，但是今天大家已經(jīng)看得非常清楚，如果要想做起來必須做自己的芯片，蘋果、三星、華為都是自己的，如果你不這么做只是使用高通的平臺，你還是可以做，但是很不幸你是第二梯隊(duì)。所以在深度學(xué)習(xí)也是一樣，你還可以用英偉達(dá)、高通的芯片，可是這不是第二名和第一名的差距，這是第二梯隊(duì)和第一梯隊(duì)的差距。因?yàn)樗惴ㄔ谘葸M(jìn)，你如果用別人的話肯定是慢一拍的，這是一個問題。

國內(nèi)有不少公司在做，包括有一家公司叫做（深建科技），最近他們發(fā)表了成績，就是DPU，就是深度學(xué)習(xí)的處理器，他們在單位功耗下的性能表現(xiàn)是英特爾之前CPU的24000倍，是英偉達(dá)GPU的3000倍。而他們所做的優(yōu)化的工作，恰恰是剛才我提到的問題，對于壓縮，對于訪問的優(yōu)化，降低了功耗。地平線也是一樣，我們非常清晰認(rèn)識到這個問題，所以我們的做法也是這樣，我們地平線也是在做自己的芯片。我們希望在短時間內(nèi)能夠把整個的能耗比提升千倍。

地平線現(xiàn)在專注的深度學(xué)習(xí)的技術(shù)的應(yīng)用點(diǎn)有哪些？四個大塊，語音、語言、視覺、控制。應(yīng)該說，這四個緯度可以構(gòu)成大量的創(chuàng)新的應(yīng)用，不僅僅是自動駕駛，還包括家庭的服務(wù)器的監(jiān)控等等。我們的目標(biāo)是希望在未來，我們可以用我們自己的算法芯片，跟廣大下游的合作伙伴，比如空調(diào)的公司，比如掃地機(jī)器人的公司等等合作，能夠覆蓋超過1000個品類的智能產(chǎn)品，我們的目標(biāo)是為現(xiàn)代的智能硬件真正的賦予智能，所以我們的目標(biāo)是定義物聯(lián)網(wǎng)時代的大腦。

我的分享就到這里，我們也是非常歡迎大家如果有意可以跟地平線合作，我們提供平臺解決方案，而不是某個具體品類和最終的產(chǎn)品，謝謝大家。

（該演講內(nèi)容全部由現(xiàn)場速記內(nèi)容整理，若有錯誤之處敬請諒解）

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。