在美國(guó)時(shí)間6月27日下午舉行的CVPR2016大會(huì)上，作為僅有的三個(gè)受邀公開演講的嘉賓之一的Mobileye的聯(lián)合創(chuàng)始人及CTOAmnon Shashua發(fā)表了其基于自動(dòng)駕駛主題的演講。Mobileye占據(jù)了ADAS市場(chǎng)90%的市場(chǎng)份額，連Tesla也搭載了其開發(fā)的系統(tǒng)。Amnon Shashua作為著名的希伯來大學(xué)的計(jì)算機(jī)科學(xué)教授，在無人駕駛和人工智能領(lǐng)域也是積累了豐富的經(jīng)驗(yàn)。雷鋒網(wǎng)(搜索“雷鋒網(wǎng)”公眾號(hào)關(guān)注)聽譯了Amnon Shashua在CVPR上進(jìn)行的公開演講，選取了其中的重點(diǎn)部分發(fā)布出來同大家分享。讓我們一起看看這位ADAS領(lǐng)域的領(lǐng)袖級(jí)人物對(duì)自動(dòng)駕駛、深度學(xué)習(xí)、汽車市場(chǎng)等都有怎樣的理解。

演講中的Amnon Shashua

Amnon Shashua：

大家好，我想起了不久前我們公司只有500人的時(shí)候，參加了CVPR會(huì)議，我們那時(shí)已經(jīng)把取得的成就視為了一個(gè)巨大的成功。而現(xiàn)在我們已經(jīng)有3600人了，真是讓我感慨萬分。我今天要講的是從Mobileye出發(fā)，談?wù)劕F(xiàn)在的自動(dòng)駕駛，這也是你們?cè)赑PT的左下角看到Mobileye的logo的原因。今天的演講不是那種告訴大家怎么做到這件事的演講，我更傾向于跟大家聊聊，要完成這樣一件事我們?cè)撟鍪裁?。我總是跟我的學(xué)生說，世界上的研究其實(shí)有80%是在尋找到底該做什么的過程，一旦找到了，剩下的那20%你不做也總有人會(huì)去做完的。知道該向什么方向努力才是最重要的事。

我會(huì)跟大家講講自動(dòng)駕駛、機(jī)器學(xué)習(xí)等等這些東西和他們已經(jīng)造成或即將造成的沖擊和震撼。

為什么要發(fā)展自動(dòng)駕駛？

我們?yōu)槭裁从X得自動(dòng)駕駛是必要的呢？在這里我會(huì)講兩個(gè)方面的原因。其中一個(gè)是很明顯的，如果你是一個(gè)新入行的，想知道為什么要發(fā)展自動(dòng)駕駛汽車的從業(yè)人員，那你去谷歌就能搜到這些信息。比如：我們的汽車有96%的時(shí)間是閑置的，只有4%的時(shí)間在使用，利用率非常低。

并且車上各式各樣的傳感器可以讓乘客獲得更多定制化服務(wù)。

不過我也可以在這里跟大家說一些不那么明顯的原因。現(xiàn)在科技界普遍有一個(gè)共識(shí)：未來將由人工智能和機(jī)器人驅(qū)動(dòng)，只是最后的社會(huì)和商業(yè)結(jié)構(gòu)尚不清楚。

很多公司做出了很不錯(cuò)的聊天機(jī)器人，但是實(shí)際上我們還不知道它們能用來做什么，這些東西真的值得投入那么多錢去研發(fā)嗎？又比如看看波士頓動(dòng)力，他們做出了很多很厲害的機(jī)器人，我是說，真的很厲害，但實(shí)際上我們確實(shí)還不清楚它們能用來做什么。我們確實(shí)還不知道AI和機(jī)器人在我們未來的社會(huì)結(jié)構(gòu)中會(huì)扮演一個(gè)什么樣的角色。

但是看看汽車，汽車絕對(duì)是一個(gè)非常適合用來發(fā)展AI的平臺(tái)。因?yàn)樗枰懈鞣N各樣的傳感器和計(jì)算平臺(tái)、要讓它能夠自動(dòng)駕駛，它需要在駕駛方面有接近人類的認(rèn)知能力。所以我們需要幫助車輛駕駛的傳感器，也需要能理解乘客在做什么，想做什么的傳感器。這些都需要AI的幫助。而通過獲取這些信息我們也能開發(fā)出新的服務(wù)乘客的方式。所以汽車很適合用來發(fā)展成熟的AI技術(shù)和相關(guān)的商業(yè)模式，一旦我們?cè)谶@個(gè)領(lǐng)域?qū)I發(fā)展成熟了，我們就可以把它應(yīng)用到其他領(lǐng)域去。

支撐自動(dòng)駕駛的三個(gè)支柱

我認(rèn)為自動(dòng)駕駛系統(tǒng)的完善需要三個(gè)方面技術(shù)的支持。它們分別是：

傳感技術(shù)（Sensing）：傳感器得到環(huán)境數(shù)據(jù)，將其傳達(dá)到計(jì)算設(shè)備，再由其中的環(huán)境模型決定車輛行為，這是目前定義最明晰和成熟的一個(gè)領(lǐng)域。

地圖繪制（Mapping）：自動(dòng)駕駛汽車需要建立非常精確的地圖，方便應(yīng)對(duì)路況。這個(gè)領(lǐng)域的定義就沒有傳感技術(shù)那么明晰了。

駕駛策略/路線規(guī)劃（Driving policy）：機(jī)器不是路上唯一的個(gè)體。就像人類需要去駕校一樣，機(jī)器也需要學(xué)習(xí)如何遵守交通規(guī)則、何時(shí)該走，何時(shí)該停，等等，均需要訓(xùn)練和規(guī)定。而我們需要將這些翻譯成技術(shù)信息，讓機(jī)器能夠理解。

這三項(xiàng)需求必須要同時(shí)發(fā)展，作為一個(gè)整體來考慮，因?yàn)槿绻贿@樣，就會(huì)陷入過度需求（unreasonable demands）的誤區(qū)。

早年我們?cè)幸豢町a(chǎn)品，可以幫車輛測(cè)量跟各種障礙物的距離，以避免與其相撞。但是當(dāng)時(shí)行業(yè)并不相信他們能做到這一點(diǎn)，又一次我自己去和客戶溝通，客戶表示我們不可能做到，但實(shí)際上我們真的是可以的。我跟他們說，這個(gè)產(chǎn)品并不需要精確到這種程度。因?yàn)槲覀冏约洪_車的時(shí)候也不可能對(duì)物體的距離有多精確的測(cè)量。比如說，你開車的時(shí)候能精確的看出前面那個(gè)東西離你有99.8米嗎？不可能，也不需要，我們只要能大概估計(jì)出它的距離就可以了。這就是過度需求。只有將這三項(xiàng)放在一起綜合考慮，才能避免它的發(fā)生。

傳感技術(shù)

傳感器是關(guān)于自動(dòng)駕駛定義最精確的技術(shù)

關(guān)于傳感器的選擇和使用有兩點(diǎn)比較常見的疑問。第一點(diǎn)是，為什么一定要用相機(jī)？（而不是雷達(dá)、紅外傳感器這樣的東西來作為主要測(cè)量依據(jù)）

第一是因?yàn)榉直媛?，相機(jī)的分辨率遠(yuǎn)遠(yuǎn)高于其他類型的傳感器。那為什么分辨率這么重要呢？因?yàn)槟阈枰?xì)節(jié)，細(xì)節(jié)越多越好。可能你能通過某些手段減少對(duì)細(xì)節(jié)的需求。但是那解決的就是另外一個(gè)問題了。

第二，相機(jī)是唯一一個(gè)除了物體的“形狀”，還能告訴你物體的“外觀”的技術(shù)。很多信息是只能通過對(duì)外觀的掃描來讀取的，比如路標(biāo)、紅綠燈等。

一個(gè)“環(huán)境模型”需要的東西

我們要建立一個(gè)完美的環(huán)境模型，首先需要多個(gè)傳感器，精確的判斷周圍的所有物體，錯(cuò)誤率需要降至0%——不過其實(shí)這些是ADAS（高級(jí)輔助駕駛系統(tǒng)）繼續(xù)發(fā)展就會(huì)自然完成的進(jìn)步，不是什么飛躍性進(jìn)展。

我們需要對(duì)行進(jìn)路線上可用的駕駛空間做出精確的判斷，算法要知道自己能開去哪里，不能開去哪里?！@是一項(xiàng)小的飛躍，但仍與自動(dòng)駕駛沒有太大關(guān)系，只要輔助駕駛系統(tǒng)繼續(xù)發(fā)展，要不了幾年就能擁有這樣的技術(shù)。

最難的一點(diǎn)是偵測(cè)出所有駕駛路線。需要綜合路上所有的信息，計(jì)算出自己應(yīng)該如何駕駛到自己想去的地方，這是最大的挑戰(zhàn)，也是最大的飛躍

物體偵測(cè)

為什么需要多個(gè)面向不同方向的相機(jī)？

因?yàn)樵诔鞘兄械沫h(huán)境遠(yuǎn)比高速路上復(fù)雜，如下圖所示，必須要有足夠多的傳感器才能收集到能確保順利和安全行車的信息。

我們可以看到，自動(dòng)駕駛系統(tǒng)在所有車輛邊上都加上了立體邊框。為其與車輛的關(guān)系標(biāo)上了不同的顏色

位置關(guān)系的標(biāo)記是有必要的，比如如果一輛車停在了你的右邊（假設(shè)你的國(guó)家交通規(guī)則是靠右行駛），你需要知道車門隨時(shí)可能打開，而司機(jī)會(huì)走出來，所以需要和它保持一定距離。

只是在車上加上邊框是不夠的，因?yàn)槌鞘械沫h(huán)境太復(fù)雜了。這個(gè)邊框必須是3D的，才能給你提供足夠的參考數(shù)據(jù)。所以下次大家如果看見了一個(gè)關(guān)于怎么在車上加邊框的論文，就可以直接跳過去看下一篇了，因?yàn)檫@東西實(shí)在是沒有什么意義。（笑）

可用空間判斷

在說這點(diǎn)之前我想提一下深度學(xué)習(xí)。

深度學(xué)習(xí)現(xiàn)在的研究有點(diǎn)繞遠(yuǎn)路了

深度學(xué)習(xí)真正的突破會(huì)體現(xiàn)在什么地方？我想應(yīng)該是在特征提取上。

我們不應(yīng)該再手動(dòng)去提取特征，不要再考慮什么LDP啊，貪婪算法啊，這樣亂七八糟的我們現(xiàn)在需要考慮的問題。算法應(yīng)該要自動(dòng)去學(xué)會(huì)這些才對(duì)。

這不是什么很震撼的消息，因?yàn)檫@是常理：我們?nèi)绻诠ぷ髦斜恢概蓙斫鉀Q一些問題，只要我們有足夠的時(shí)間，我們肯定能發(fā)現(xiàn)一種解決它的方法。發(fā)現(xiàn)問題的特征，尋找到它的解決方法?，F(xiàn)在的深度學(xué)習(xí)算法可能運(yùn)算速度比人更快，比人更精確，但它不是什么革命性的東西，不算是什么突破。它現(xiàn)在只能解決那些我們已經(jīng)深入了解的東西，而真正有用的算法，應(yīng)該要能解決那些我們現(xiàn)在解決不了的問題。

不過深度神經(jīng)網(wǎng)絡(luò)取得的進(jìn)步仍然很值得高興，我們也在我們的行車算法中應(yīng)用了深度學(xué)習(xí)，它的表現(xiàn)很好，能幫助我們區(qū)分環(huán)境特征，這是非常重要的。

這是一個(gè)示例，上圖中的綠色區(qū)域就是算法標(biāo)記出來的可活動(dòng)的空間。

可以看到，算法意識(shí)到了臺(tái)階上是不能去的地方，而底下都是可以去的。

我們回到開始那張圖，看上圖的右邊。算法意識(shí)到了旁邊的人行道不是能行駛的區(qū)域，雖然它們的材料是一樣的。沒有任何探測(cè)器會(huì)告訴你它們的材料有什么區(qū)別，但是因?yàn)樗惴軐?duì)環(huán)境做出判斷，所以能知道旁邊的路不能開。這就是深度學(xué)習(xí)網(wǎng)絡(luò)的功勞。

除了綠色，我們有很多種表達(dá)方式來對(duì)應(yīng)道路上不同的特征。

當(dāng)?shù)缆烦睗竦臅r(shí)候，算法也能分辨出來并做出應(yīng)對(duì)

駕駛路線規(guī)劃

這是最難的一種技術(shù)。

根據(jù)整體環(huán)境規(guī)劃車道

要讓計(jì)算機(jī)學(xué)會(huì)計(jì)算出合理的駕駛路線，我們首先要給駕駛路線一個(gè)精確的定義，人類能輕易理解駕駛的過程和目的，但計(jì)算機(jī)要做好這一點(diǎn)卻不那么容易。

可以看到，這張圖的路線里沒有車道，但算法卻可以正確的畫出一個(gè)虛擬的“車道”，并且準(zhǔn)確預(yù)計(jì)出它將要去往的方向。

車道整合

在這個(gè)視頻中，盡管周邊的幾條線表現(xiàn)不穩(wěn)定，但中間這條紫色的線的位置卻一直很穩(wěn)定

這條線就是關(guān)鍵，是很多種算法綜合作用才能達(dá)到的結(jié)果。

車道信息理解

算法還能檢測(cè)路上有幾條車道，并且判斷自己正在哪一條上

路線上的關(guān)鍵點(diǎn)，如路徑交叉、分離點(diǎn)等的標(biāo)記可以幫助算法理解和決策下一步的行動(dòng)。算法可以用不同的顏色標(biāo)記這些點(diǎn)。

在下面這張圖的上半部分，我們甚至可以發(fā)現(xiàn)，道路的建造者在道路上做出了錯(cuò)誤的標(biāo)記——將道路分叉點(diǎn)附近的路面應(yīng)有的虛線畫成了實(shí)線，但是算法發(fā)現(xiàn)并糾正了這個(gè)錯(cuò)誤，在最終的標(biāo)記中仍然將其標(biāo)記為虛線（藍(lán)色）。

可以看到深度學(xué)習(xí)算法讓最終的識(shí)別效果有了顯著的改善。

駕駛策略

這一部分是關(guān)于我們的車輛如何融入到現(xiàn)有的交通系統(tǒng)中去

我之前提到過，我們不是道路上唯一的車輛，所以說有必要讓機(jī)器學(xué)習(xí)一些駕駛策略。

感覺（Sensing）和計(jì)劃（Planning）的含義

當(dāng)我們提到“感覺”時(shí)，我們的意思是“知曉我們周圍的所有事物”，不管是基于什么形式，聲音也好圖像也好，告訴我們我們的周圍有什么，比如算法知道“我前面這里有一輛車”，這不是一種行為，在這個(gè)過程中，“感覺”的個(gè)體本身是唯一要考慮的對(duì)象。而且結(jié)果是非常容易預(yù)測(cè)的。實(shí)現(xiàn)這些的技術(shù)有有監(jiān)督深度學(xué)習(xí)等技術(shù)。

而“計(jì)劃”指的是對(duì)于未來的計(jì)劃，在過程中自身并不是唯一需要考量的因素，還有很多額外的變量。增強(qiáng)學(xué)習(xí)就是用來實(shí)現(xiàn)這點(diǎn)的技術(shù)。

增強(qiáng)學(xué)習(xí)

上圖展示了一個(gè)增強(qiáng)學(xué)習(xí)的過程

下圖是RNN深度學(xué)習(xí)的一個(gè)流程圖

下面是一個(gè)算法的實(shí)例：有很多人車輛正在通過一個(gè)環(huán)島，下圖中紅色的車是自動(dòng)駕駛的車輛，藍(lán)色的車是“有侵略性”的車，意味著當(dāng)它發(fā)現(xiàn)你也想?yún)R入車流進(jìn)入環(huán)島的時(shí)候它們會(huì)搶到從你面前過去而不會(huì)減速讓你進(jìn)入，而綠色的車是“有禮貌”的車輛。當(dāng)它發(fā)現(xiàn)你想進(jìn)入車流的時(shí)候會(huì)減速讓你進(jìn)入，算法一開始并不知道什么樣的車是有侵略性的什么樣的車是禮貌的，但是通過不斷的實(shí)驗(yàn)，它能發(fā)現(xiàn)這其中的規(guī)律，最后在有禮貌的車來的時(shí)候匯入車流

（他跳過了幾張幻燈片，時(shí)間不太夠了，不過我們還是放出來）

地圖繪制

現(xiàn)在我想來講一下地圖繪制。

地圖繪制（不同于導(dǎo)航）很重要，但不同于傳感有其精確的定義。其定義和手段還不明確和成熟。人類在開車的時(shí)候是不需要地圖繪制這項(xiàng)技能的。我們可以直接開車走人，有沒有地圖都可以，導(dǎo)航可以告訴我們我們要去哪和怎么去，但是那不是我們開車的必要條件，沒有地圖我們一樣可以開車。但AI不一樣，如果沒有這種能力電腦就沒法開車。為什么AI會(huì)需要一樣我們不需要的能力呢？我們能不能造出一種不需要地圖繪制，只需導(dǎo)航就能開車的AI呢？注意我們這里說的AI的地圖，其細(xì)節(jié)的精確度要遠(yuǎn)遠(yuǎn)高于我們目前經(jīng)常看的這種。

目前谷歌和很多其他模仿他們的公司正在發(fā)展這種精確地圖的技術(shù)，如果你要用一個(gè)地圖來導(dǎo)航，你只需要一個(gè)精度達(dá)到幾米的GPS就行了，但是如果你需要用這種精細(xì)化的地圖來作為控制汽車的依據(jù)，那你對(duì)位置精確度的要求就要達(dá)到10cm的級(jí)別，GPS是達(dá)不到這種精度的，何況城市中還有像高樓、隧道這樣的干擾源。所以你不僅需要繪制一個(gè)這么精確的地圖，還需要一個(gè)與之匹配的精確定位技術(shù)，這兩者是相輔相成的

地圖要做到怎樣才能幫助實(shí)現(xiàn)自動(dòng)駕駛？

看起來這其中的聯(lián)系有點(diǎn)隱晦，但是當(dāng)我跟你解釋清楚之后你就會(huì)發(fā)現(xiàn)其實(shí)很簡(jiǎn)單。

地圖是自動(dòng)駕駛中一個(gè)非常必要的組成部分，對(duì)安全非常重要。如果沒有這份地圖，算法可能根本無法實(shí)現(xiàn)駕駛。

所以首先能明確的是，這份地圖的更新必須非常及時(shí)，幾乎要做到準(zhǔn)實(shí)時(shí)狀態(tài)，所以維持這份地圖的有效性需要非常龐大的數(shù)據(jù)流量。所以數(shù)據(jù)沒法統(tǒng)一收集，必須從所有裝備自動(dòng)駕駛系統(tǒng)的車輛上共同收集。

因?yàn)闊o人駕駛車的數(shù)量將會(huì)變得非常多，所以每輛車產(chǎn)生的地圖數(shù)據(jù)必須非常非常小——預(yù)計(jì)每千米10kb的量，這樣無論采用什么方式傳輸，一天下來大概只會(huì)花掉1MB左右的流量在上傳和下載數(shù)據(jù)上，這樣的量是可以接受的，不然不僅用戶無法承受，服務(wù)器也無法負(fù)擔(dān)如此龐大的數(shù)據(jù)量。而且對(duì)下載數(shù)據(jù)的進(jìn)一步處理必須在車內(nèi)的計(jì)算設(shè)備上本地完成。

整個(gè)改造最好不需要添加新的硬件，一切都應(yīng)該在車上本來就有的硬件上完成。

這樣一來的話，我們就只需要在配套的軟件上操心，做好軟件方面的工作，就能打造出自動(dòng)駕駛的車輛了

把這幾項(xiàng)綜合起來得到的系統(tǒng)，比較像SLAM系統(tǒng)的一個(gè)變種。但比SLAM表現(xiàn)得聰明得多。我們管這個(gè)叫道路經(jīng)驗(yàn)管理系統(tǒng)（REM），是我們正在進(jìn)行的一項(xiàng)地圖繪制計(jì)劃。

經(jīng)過道路的前一輛車還可以給后一輛經(jīng)過同一道路的車輛提供數(shù)據(jù)。

預(yù)計(jì)在2020年左右，幾乎所有的車都會(huì)裝備前攝像頭并且能為這個(gè)計(jì)劃提供數(shù)據(jù)。

總結(jié)

我們大致能給出一個(gè)自動(dòng)駕駛進(jìn)化的時(shí)間表，我們現(xiàn)在處在第一個(gè)階段的正中間，2016年，現(xiàn)在我們能實(shí)現(xiàn)的程度就是高速公路自動(dòng)駕駛，其實(shí)這還不應(yīng)該叫自動(dòng)駕駛，而應(yīng)該叫“不安全的輔助駕駛”，說它“不安全”是因?yàn)楝F(xiàn)階段它還可能會(huì)出錯(cuò)。有些人看到一樣?xùn)|西的準(zhǔn)確率達(dá)到95%的時(shí)候，他可能就會(huì)有這種東西已經(jīng)100%準(zhǔn)確了的錯(cuò)覺，但不是這樣的?，F(xiàn)在這個(gè)還不能叫自動(dòng)駕駛。

不過預(yù)計(jì)在2018-2020年我們估計(jì)就能實(shí)現(xiàn)在高速公路上的自動(dòng)駕駛了，這也是我們正在做的項(xiàng)目。雖然還僅限高速公路，不過那時(shí)的準(zhǔn)確度應(yīng)該達(dá)到非常高的程度了，當(dāng)你上高速公路之后就可以激活這個(gè)系統(tǒng)，然后就可以去看個(gè)書，甚至睡個(gè)覺之類的。不用擔(dān)心安全問題，如果汽車需要你醒來，它會(huì)提前提醒你，如果你沒醒的話，汽車就會(huì)自動(dòng)減速靠邊，然后找個(gè)地方停下來。

真正的飛躍大概會(huì)在2021年到來，按我們的分級(jí)方法，那時(shí)候的自動(dòng)駕駛等級(jí)大概會(huì)在Lv.4到Lv.5之間了，能實(shí)現(xiàn)真正的全自動(dòng)駕駛。那時(shí)預(yù)計(jì)社會(huì)將會(huì)慢慢接受自動(dòng)駕駛系統(tǒng)的存在，可能在一段時(shí)間內(nèi)，還是會(huì)有司機(jī)坐在駕駛座上以防萬一算法出錯(cuò)。而這時(shí)的自動(dòng)駕駛系統(tǒng)可能主要在公共交通或出租車等方式、如Uber等之間流行，私家車司機(jī)還是會(huì)傾向于手動(dòng)駕車出行。

在2023年，當(dāng)所有條件都成熟的時(shí)候，人們對(duì)自動(dòng)駕駛汽車的應(yīng)用會(huì)更上一層樓，人們可以讓車送自己去上班，然后自己回家，派車去接自己的孩子……在私家車之間自動(dòng)駕駛也會(huì)普及開來，隨時(shí)讓自己的車去任何需要的地方。租車等對(duì)車的使用方式也將更加成熟。這是個(gè)非常美好的未來。今天我的演講就到這里了，感謝大家的聆聽。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。