大V吳恩達曾經(jīng)說過：做AI研究就像造宇宙飛船，除了充足的燃料之外，強勁的引擎也是必不可少的。假如燃料不足，則飛船就無法進入預(yù)定軌道。而引擎不夠強勁，飛船甚至不能升空。類比于AI，深度學(xué)習(xí)模型就好像引擎，海量的訓(xùn)練數(shù)據(jù)就好像燃料，這兩者對于AI而言同樣缺一不可。
深度學(xué)習(xí)是一個近幾年備受關(guān)注的研究領(lǐng)域，在機器學(xué)習(xí)中起著重要的作用。 深度學(xué)習(xí)通過建立、模擬人腦的分層結(jié)構(gòu)來實現(xiàn)對外部輸入的數(shù)據(jù)進行從低級到高級的特征提取，從而能夠解釋外部數(shù)據(jù)。
深度學(xué)習(xí)
深度學(xué)習(xí)（Deep Learning）的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。
深度學(xué)習(xí)也稱為深度結(jié)構(gòu)學(xué)習(xí)【Deep Structured Learning】、層次學(xué)習(xí)【Hierarchical Learning】或者是深度機器學(xué)習(xí)【Deep Machine Learning】）是一類算法集合，是機器學(xué)習(xí)的一個分支。它嘗試為數(shù)據(jù)的高層次摘要進行建模。
機器學(xué)習(xí)通過算法，讓機器可以從外界輸入的大量的數(shù)據(jù)中學(xué)習(xí)到規(guī)律，從而進行識別判斷。機器學(xué)習(xí)的發(fā)展經(jīng)歷了淺層學(xué)習(xí)和深度學(xué)習(xí)兩次浪潮。深度學(xué)習(xí)可以理解為神經(jīng)網(wǎng)絡(luò)的發(fā)展，神經(jīng)網(wǎng)絡(luò)是對人腦或生物神經(jīng)網(wǎng)絡(luò)基本特征進行抽象和建模，可以從外界環(huán)境中學(xué)習(xí)，并以與生物類似的交互方式適應(yīng)環(huán)境。神經(jīng)網(wǎng)絡(luò)是智能學(xué)科的重要部分，為解決復(fù)雜問題和智能控制提供了有效 的途徑。神經(jīng)網(wǎng)絡(luò)曾一度成為機器學(xué)習(xí)領(lǐng)域備受關(guān)注的方向。
我們用一個簡單的例子來說明，假設(shè)你有兩組神經(jīng)元，一個是接受輸入的信號，一個是發(fā)送輸出的信號。當(dāng)輸入層接收到輸入信號的時候，它將輸入層做一個簡單的修改并傳遞給下一層。在一個深度網(wǎng)絡(luò)中，輸入層與輸出層之間可以有很多的層（這些層并不是由神經(jīng)元組成的，但是它可以以神經(jīng)元的方式理解），允許算法使用多個處理層，并可以對這些層的結(jié)果進行線性和非線性的轉(zhuǎn)換。
深度學(xué)習(xí)的由來
１、人腦視覺機理啟示
人類每時每刻都面臨著大量的感知數(shù)據(jù)，但大腦總能很容易地捕獲重要的信息。人工智能的核心問題就是模仿大腦這種高效準(zhǔn)確地表示信息的能力。通 過 近些年的研究，我們對大腦機理已有了一些了解，這些都推動了人工智能的發(fā)展。
神經(jīng)學(xué)研究表明，人的視覺系統(tǒng)的信息處理是分級的，從低級的Ｖ1區(qū)提取邊緣特征，到Ｖ2區(qū)的形狀，再到更高層。人類大腦在接收到外部信號時，不是直接對數(shù)據(jù)進行處理，而是通過一個多層的網(wǎng)絡(luò)模型來獲取數(shù)據(jù)的規(guī)律。這種層次
結(jié)構(gòu)的感知系統(tǒng)使視覺系統(tǒng)需要處理的數(shù)據(jù)量大大減少，并保留了物體有用的結(jié)構(gòu)信息。
２、現(xiàn)有機器學(xué)習(xí)的局限性
深度學(xué)習(xí)與淺層學(xué)習(xí)相對。現(xiàn)在很多的學(xué)習(xí)方法都是淺層結(jié)構(gòu)算法，它們存在一定的局限性，比如在樣本有限的情況下表示復(fù)雜函數(shù)的能力有限，針對復(fù)雜的分類問題其泛化能力受到一定制約。
而深度學(xué)習(xí)可通過學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實現(xiàn)復(fù)雜函數(shù)逼近，表征輸 入數(shù)據(jù)分布式表示，并且能在樣本集很少的情況下去學(xué)習(xí)數(shù)據(jù)集的本質(zhì)特征。
雖然淺層學(xué)習(xí)的應(yīng)用也很廣泛，但它只對簡單的計算才有效，并不能到達人腦的反應(yīng)效果，這就需要深度的機器學(xué)習(xí)。這些都表明淺層學(xué)習(xí)網(wǎng)絡(luò)有很大的局限性，激發(fā)了我們對深度網(wǎng)絡(luò)建模的研究。
深度機器學(xué)習(xí)是數(shù)據(jù)分布式表示的必然結(jié)果。有很多學(xué)習(xí)結(jié)構(gòu)的學(xué)習(xí)算法得到的學(xué)習(xí)器是局部估計算子，例如，由核方法構(gòu)造的學(xué)習(xí)器，是由對模板的匹配度加權(quán)構(gòu)成的。對于這樣的問題，通常我們有合理的假設(shè)，但當(dāng)目標(biāo)函數(shù)非常復(fù)雜時，由于需要利用參數(shù)進行描述的區(qū)域數(shù)目也是巨大的，因此這樣的模型 泛化能力很差。在機器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)研究中分布式表示可以處理維數(shù)災(zāi)難和局部泛化限制。分布式表示不僅可以很好地描述概念間的相似性，而且合適的分布式表示在有限的數(shù)據(jù)下能體現(xiàn)出更好的泛化性能。理解和處理接收到的信 息是人類認(rèn)知活動的重要環(huán)節(jié)，由于這些信息的結(jié)構(gòu)一般都很復(fù)雜，因此構(gòu)造
深度的學(xué)習(xí)機器去實現(xiàn)一些人類的認(rèn)知活動是很有必要的。
３、特征提取的需要
機器學(xué)習(xí)通過算法，讓機器可以從外界輸入的大量數(shù)據(jù)中學(xué)習(xí)到規(guī)律，從而進行識別判斷。機器學(xué)習(xí)在解決圖像識別、語音識別、自然語言理解等問題時的 大致流程如圖 １ 所示。
首先通過傳感器來獲得數(shù)據(jù)，然后經(jīng)過預(yù)處理、特征提取、特征選擇，再到推理、預(yù)測和識別。良好的特征表達影響著最終算法的準(zhǔn)確性，而且系統(tǒng)主要的計算和測試工作都在這一環(huán)節(jié)。這個環(huán)節(jié)一 般都是人工完成的，靠人工提取特征是一種非常費力的方法，不能保證選取的質(zhì)量，而且它的調(diào)節(jié)需要大量的時間。然而深度學(xué)習(xí)能自動地學(xué)習(xí)一些特征，不需要人參與特征的選取過程。
深度學(xué)習(xí)是一個多層次的學(xué)習(xí)，如圖２所示，用較少的隱含層是不可能達到與 人腦類似的效果的。這需要多層的學(xué)習(xí)，逐層學(xué)習(xí)并把學(xué)習(xí)的知識傳遞給下一 層，通過這種方式，就可以實現(xiàn)對輸入信息進行分級表達。深度學(xué)的實質(zhì)就是通過建立、模擬人腦的分層結(jié)構(gòu)，對外部輸入的聲音、圖像、文本等數(shù)據(jù)進行從低級到高級的特征提取，從而能夠解釋外部數(shù)據(jù)。與傳統(tǒng)學(xué)習(xí)結(jié)構(gòu)相比，深 度學(xué)習(xí)更加強調(diào)模型結(jié)構(gòu)的深度，通常含有多層的隱層節(jié)點，而且在深度學(xué)習(xí)中，特征學(xué)習(xí)至關(guān)重要，通過特征的逐層變換完成最后的預(yù)測和識別。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
