2019年3月27日，Yoshua Bengio， Geoffrey Hinton 和 Yann LeCun 計(jì)算機(jī)科學(xué)界的最高榮譽(yù)——ACM 圖靈獎(jiǎng)，它被譽(yù)為是計(jì)算機(jī)界的諾貝爾獎(jiǎng)。Hinton、LeCun 和 Bengio 獨(dú)立工作，共同開發(fā)了深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)領(lǐng)域的概念基礎(chǔ)，通過實(shí)驗(yàn)和實(shí)際工程證明了深度神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)。
圖靈獎(jiǎng)得主介紹及主要技術(shù)成就
Yann LeCun，紐約大學(xué)教授，同時(shí)也是 Facebook 的副總裁和首席 AI 科學(xué)家。ACM 表示 Yann LeCun 主要有三大重要貢獻(xiàn)：提出卷積神經(jīng)網(wǎng)絡(luò)，改進(jìn)反向傳播算法，拓寬神經(jīng)網(wǎng)絡(luò)的視角。
Geoffrey Hinton，谷歌副總裁兼工程研究員，Vector Institute 的首席科學(xué)顧問，同時(shí)也是多倫多大學(xué)的名譽(yù)大學(xué)教授。Hinton 最重要的貢獻(xiàn)來自他 1986 年發(fā)明反向傳播的論文“Learning Internal Representations by Error Propagation”，1983 年發(fā)明的玻爾茲曼機(jī)（Boltzmann Machines），以及 2012 年對(duì)卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)。
Yoshua Bengio，蒙特利爾大學(xué)教授，魁北克人工智能研究所 Mila 科學(xué)主管，Bengio 的主要貢獻(xiàn)是在 1990 年代發(fā)明的 Probabilistic models of sequences。自 2010 年以來，Bengio 非常關(guān)注生成式深度學(xué)習(xí)，特別是他與 Ian Goodfellow 等研究者提出的生成對(duì)抗網(wǎng)絡(luò)（GAN），這項(xiàng)研究引起了計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)的革命。
時(shí)至今日，幾乎我們能聽到的所有關(guān)于 AI 的重要進(jìn)展，背后都離不開深度學(xué)習(xí)。深度神經(jīng)網(wǎng)絡(luò)促進(jìn)了現(xiàn)代計(jì)算機(jī)科學(xué)的極大進(jìn)步，顯著提升了計(jì)算機(jī)感知世界的能力，正是上述三位獲獎(jiǎng)?wù)邽榇说於酥匾A(chǔ)。
深度學(xué)習(xí)是否有盡頭？
但從去年開始，關(guān)于深度學(xué)習(xí)“寒冬論”、“天花板”的論調(diào)頻繁出現(xiàn)，不少人認(rèn)為深度學(xué)習(xí)似乎遇到了瓶頸，需要特別大、特別深的網(wǎng)絡(luò)以及大量數(shù)據(jù)訓(xùn)練。
深度學(xué)習(xí)確有很多先天缺陷。比如低效率問題，我們都知道數(shù)據(jù)集的逐漸增大加上正確的訓(xùn)練有助于性能的提高，而樣本量的缺少容易出現(xiàn)算法偏差。深度學(xué)習(xí)模型很淺。人工智能應(yīng)用程序通過大量數(shù)據(jù)和深度學(xué)習(xí)算法的訓(xùn)練可以很好地完成一件事，但卻不能應(yīng)用在另一個(gè)方面，到目前為止，還沒有一個(gè)好的辦法可以將訓(xùn)練從一種情況轉(zhuǎn)移到另一種情況。
另外，深度學(xué)習(xí)算法里還有一個(gè)特別棘手的問題，應(yīng)用不穩(wěn)定。讓這些算法在沒有明確編程的情況下接受數(shù)據(jù)訓(xùn)練和學(xué)習(xí)，目前為止，深度學(xué)習(xí)是很難達(dá)到預(yù)期效果的。
另一個(gè)威脅是易受對(duì)抗攻擊。由于它們的創(chuàng)建方式，深度學(xué)習(xí)算法可以以意想不到的方式運(yùn)行 － 或者至少以對(duì)我們?nèi)祟悂碚f似乎不合邏輯的方式運(yùn)行。鑒于神經(jīng)網(wǎng)絡(luò)的不透明性，很難找到它們包含的所有邏輯錯(cuò)誤。
但斷定深度學(xué)習(xí)“已死”的論調(diào)顯然是不合理的，即使可能在未來幾年內(nèi)深度學(xué)習(xí)無法達(dá)到人類水平的認(rèn)知，我們也會(huì)在許多其他領(lǐng)域看到深度學(xué)習(xí)有巨大的改進(jìn)。以下是神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的一些重要趨勢(shì)。
神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的發(fā)展趨勢(shì)
膠囊網(wǎng)絡(luò)
膠囊網(wǎng)絡(luò) （CapsNet）是Geoffrey Hinton提出的一種新型深層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。它們以類似于人腦的方式處理信息。這實(shí)質(zhì)上意味著膠囊網(wǎng)絡(luò)可以維持層次關(guān)系。
這與卷積神經(jīng)網(wǎng)絡(luò)形成對(duì)比。卷積神經(jīng)網(wǎng)絡(luò)未能考慮簡(jiǎn)單和復(fù)雜對(duì)象之間存在的關(guān)鍵空間層次結(jié)構(gòu)。這導(dǎo)致錯(cuò)誤分類和更高的錯(cuò)誤率。膠囊網(wǎng)絡(luò)彌補(bǔ)了不少缺陷，比如數(shù)據(jù)量、準(zhǔn)確度、訓(xùn)練數(shù)據(jù)多樣性等等，性能更好。
深層強(qiáng)化學(xué)習(xí)
深度強(qiáng)化學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)的一種形式，它通過觀察、行動(dòng)和獎(jiǎng)勵(lì)與環(huán)境交流來學(xué)習(xí)。深度強(qiáng)化學(xué)習(xí)（DRL）已經(jīng)被成功地用于確定游戲策略，比如Atari和Go。著名的AlphaGo項(xiàng)目被用來?yè)魯∪祟惞谲?，而且也取得了成功?/p>
深度學(xué)習(xí)有較強(qiáng)的感知能力，但是缺乏一定的決策能力。而深度強(qiáng)化學(xué)習(xí)還具有決策能力，不僅能利用現(xiàn)有數(shù)據(jù)，還可以通過對(duì)環(huán)境的探索獲得新數(shù)據(jù)，并利用新數(shù)據(jù)循環(huán)往復(fù)地更新迭代現(xiàn)有模型的機(jī)器學(xué)習(xí)算法，為復(fù)雜系統(tǒng)的感知決策問題提供了解決思路。
元學(xué)習(xí)
元學(xué)習(xí)可幫助模型在少量樣本下快速學(xué)習(xí)，從元學(xué)習(xí)的使用角度看，人們也稱之為少次學(xué)習(xí)。更具體地，如果訓(xùn)練樣本數(shù)為 1，則稱為一次學(xué)習(xí)；訓(xùn)練樣本數(shù)為 K，稱為 K 次學(xué)習(xí)；更極端地，訓(xùn)練樣本數(shù)為 0，稱為零次學(xué)習(xí)。另外，多任務(wù)學(xué)習(xí)和遷移學(xué)習(xí)在理論層面上都能歸結(jié)到元學(xué)習(xí)的大家庭中。
元學(xué)習(xí)通過人工智能技術(shù)，把算法的設(shè)計(jì)自動(dòng)化，降低了應(yīng)用門檻，使得自動(dòng)化的人工智能開發(fā)成為可能。
帶記憶模型的網(wǎng)絡(luò)
區(qū)分人類和機(jī)器的一個(gè)重要方面是工作和思考的能力。毫無疑問，計(jì)算機(jī)可以預(yù)先編程，以極高的精度完成一項(xiàng)特定的任務(wù)。但是，當(dāng)你需要它們?cè)诓煌沫h(huán)境中工作時(shí)，就會(huì)出現(xiàn)問題。
為了使機(jī)器能夠適應(yīng)現(xiàn)實(shí)世界的環(huán)境，神經(jīng)網(wǎng)絡(luò)必須能夠在不遺忘的情況下學(xué)習(xí)順序任務(wù)。神經(jīng)網(wǎng)絡(luò)需要借助多種強(qiáng)大的體系結(jié)構(gòu)來克服遺忘。這些可以包括：長(zhǎng)期內(nèi)存網(wǎng)絡(luò)，可以處理和預(yù)測(cè)時(shí)間序列；彈性權(quán)重合并算法，可以根據(jù)先前完成的任務(wù)定義的優(yōu)先級(jí)減慢學(xué)習(xí)速度；不受遺忘影響的漸進(jìn)式神經(jīng)網(wǎng)絡(luò)，能夠從已經(jīng)學(xué)過的網(wǎng)絡(luò)中提取有用的特征，以用于新的任務(wù)。
混合學(xué)習(xí)模式
不同類型的深度神經(jīng)網(wǎng)絡(luò)，例如生成對(duì)抗網(wǎng)絡(luò)（Generative adversarial networks， GANs）或DRL，已經(jīng)在性能和廣泛應(yīng)用層面顯示出了巨大的前景。這可以幫助我們實(shí)現(xiàn)更好的模型性能和可解釋性的模型，從而可以鼓勵(lì)更廣泛的應(yīng)用。通過概率編程語言的結(jié)合進(jìn)行深度學(xué)習(xí)，以期看到更深層的學(xué)習(xí)方法獲得貝葉斯等價(jià)物。
深度學(xué)習(xí)不是終點(diǎn)，只是起步
深度學(xué)習(xí)在近年來能夠取得成功得益于兩個(gè)關(guān)鍵因素：一是計(jì)算機(jī)運(yùn)算速度提高數(shù)倍；二是深度學(xué)習(xí)可順序計(jì)算的能力提高。目前深度學(xué)習(xí)依舊生命力旺盛，深度學(xué)習(xí)可用的工具和方法也成為了科學(xué)和商業(yè)中有價(jià)值應(yīng)用的堅(jiān)實(shí)基礎(chǔ)。
技術(shù)進(jìn)步，眾多行業(yè)借助AI賦能產(chǎn)業(yè)結(jié)構(gòu)，不斷升級(jí)換代與創(chuàng)新變革，走在技術(shù)前沿的公司也在不斷涌現(xiàn)。國(guó)內(nèi)誕生了諸如曠視科技、商湯科技、極鏈科技Video＋＋、依圖科技等優(yōu)秀人工智能初創(chuàng)企業(yè)。人工智能技術(shù)迎來了發(fā)展的春天，我們期待即將到來的新的革命。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
