在近幾年,人工神經(jīng)網(wǎng)絡(luò)--一種參照大腦運作模式而建成的計算模型--已經(jīng)成為了最為炙手可熱的人工智能系統(tǒng),并且應(yīng)用于從語音到圖像的各個領(lǐng)域。
AI科技評論消息,MIT CSAIL于今日發(fā)布了一個重磅研究成果:他們已經(jīng)開發(fā)出一個大腦神經(jīng)回路的計算模型,它揭示了抑制神經(jīng)元的生物意義。
這個模型是由一組輸入神經(jīng)元陣列與同等數(shù)量的輸出神經(jīng)元組成,采用「競爭學(xué)習(xí)規(guī)則」(winner-take-all)來操作。
也就是說,網(wǎng)絡(luò)的輸出神經(jīng)元之間相互競爭以求被激活,但在每一時刻只有一個輸出神經(jīng)元被激活。這個被激活的神經(jīng)元稱為競爭獲勝神經(jīng)元,而其它神經(jīng)元的狀態(tài)被抑制,故稱為Winner Take All,這就像美國大選一樣,在該州獲得更多選票的候選者就會得到該區(qū)所有的選票。
MIT研究者們證明,通過使用理論計算機科學(xué)的相關(guān)工具,他們的模型能夠讓一定配置的抑制性神經(jīng)元遵循「競爭學(xué)習(xí)規(guī)則」,并獲得最有效的結(jié)果。這其中原因何在?真相就在于該模型能夠?qū)σ种菩陨窠?jīng)元在大腦中的行為進行預(yù)測,而這也成為了計算分析輔佐神經(jīng)科學(xué)研究的絕佳例子。
這一新發(fā)現(xiàn)在本周的理論計算機科學(xué)變革會議上公布。論文作者為MIT軟件科學(xué)及工程的NEC教授Nancy Lynch,博士后Merav Parter及電子工程與計算機科學(xué)的研究生Cameron Musco.Lynch表示,「這一發(fā)現(xiàn)能夠為計算機網(wǎng)絡(luò)或以手機為代表的電子設(shè)備與生物系統(tǒng)中的神經(jīng)網(wǎng)絡(luò)之間建立起緊密聯(lián)系,我們正在嘗試從分布式計算的角度尋找可能使之受益的方向,并將重點放在算法上。
為了補充一些背景知識,AI科技評論先為大家簡單介紹一下
人工神經(jīng)網(wǎng)絡(luò)與人體神經(jīng)網(wǎng)絡(luò)的聯(lián)系與區(qū)別:
我們都知道,大腦的神經(jīng)細(xì)胞存在兩種狀態(tài):興奮和抑制。神經(jīng)細(xì)胞通過某種方式將所有樹突上的信號進行相加,如果信號總和超過了某個閾值,那么這個神經(jīng)細(xì)胞就會被刺激,達(dá)到興奮狀態(tài)。人工神經(jīng)網(wǎng)絡(luò)也就是模仿上述原理而設(shè)計的一種算法模型。
人工神經(jīng)網(wǎng)絡(luò)與人體的神經(jīng)元類似,由多個節(jié)點(神經(jīng)元)之間聯(lián)結(jié)而成,每個節(jié)點代表一種特定的輸出函數(shù),并根據(jù)各個節(jié)點的不同權(quán)重生成不同的計算輸出。
由于權(quán)重能夠表示激發(fā)或抑制作用(在這里,雷鋒網(wǎng)為大家簡單表示為正負(fù)關(guān)系),這些或正或負(fù)的數(shù)據(jù)將作為激勵函數(shù)的輸入進行作用。而這個激勵函數(shù)經(jīng)過所有不同節(jié)點的權(quán)重綜合計算后得到一個新的激勵值,并最終得到我們想要的結(jié)果。
而在人工智能應(yīng)用中,實際情況當(dāng)然會更加復(fù)雜一些。一個神經(jīng)網(wǎng)絡(luò)可以接受不同數(shù)據(jù)的訓(xùn)練,不斷通過調(diào)整權(quán)重而得到更契合實際的結(jié)果。
“生物層面上的真實性”
Lynch團隊對該模型進行了多處修改,使得人工神經(jīng)網(wǎng)絡(luò)在生物層面更加真實。首先是增加抑制性神經(jīng)元的數(shù)量。通常在人工神經(jīng)網(wǎng)絡(luò)中,連接上的權(quán)重值就和方才提及的一樣,通常是正的,或者是可正可負(fù)的。但在人體大腦中,有一些神經(jīng)網(wǎng)絡(luò)能夠發(fā)揮純粹的抑制作用,并阻止其它神經(jīng)元活動,因此MIT的研究人員參考這一點,將這些神經(jīng)元建模為只連接負(fù)權(quán)重的節(jié)點。
而就像我們所了解到的一樣,很多人工智能采用的是前饋網(wǎng)絡(luò),即信號只從一個方向通過網(wǎng)絡(luò),從接收輸入數(shù)據(jù)的第一層到提供計算結(jié)果的最后一層。但大腦間的反饋會更加復(fù)雜一些。
Lynch、Parter及Musco的神經(jīng)網(wǎng)絡(luò)就增加了一層反饋機制,輸出神經(jīng)元的信號傳遞到抑制性神經(jīng)元,它的輸出會再次傳遞到輸出層。此外,輸出神經(jīng)元的信號也會反饋給自身,這對競爭學(xué)習(xí)規(guī)則而言顯得非常重要且有效。
MIT的研究人員改進的人工神經(jīng)網(wǎng)絡(luò)還有一點最大的不同在于,神經(jīng)網(wǎng)絡(luò)變得更具概率性。因為在此前傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)中,如果節(jié)點的輸入值超過某個閾值,則節(jié)點會被激發(fā)。但在大腦中,即使增加了輸入神經(jīng)元的信號強度,也只會增加輸出神經(jīng)元激活信號的機會。這同樣對于競爭學(xué)習(xí)規(guī)則也具有不小的意義。
抑制的優(yōu)點
Parter與她的同事們成功證明,如果只有一個抑制性神經(jīng)元,是不可能變成競爭學(xué)習(xí)的最終「贏家」的(但兩個就OK了?。?。其中的秘訣在于,如果多于一個輸出神經(jīng)元激活抑制性神經(jīng)元(研究人員稱之為收斂神經(jīng)元)能夠激活強抑制信號。而另一個抑制性神經(jīng)元(被稱為穩(wěn)定神經(jīng)元)的功能在于,只要任何輸出神經(jīng)元正在激活信號,那么它都只會發(fā)出更弱的信號。
收斂神經(jīng)元能夠驅(qū)動神經(jīng)網(wǎng)絡(luò)選擇單個輸出神經(jīng)元,并在該節(jié)點上停止激活信號;而穩(wěn)定神經(jīng)元則會在收斂神經(jīng)元已經(jīng)停止活動時防止輸出神經(jīng)元的第二次作用。而如果輸出神經(jīng)元被抑制的時間越久,它越有可能繼續(xù)保持這一狀態(tài)。而一旦選擇了單個輸出神經(jīng)元,它的反饋回路能夠確保自己能夠克服穩(wěn)定神經(jīng)元的抑制作用。
但是,如果缺少了隨機性,網(wǎng)絡(luò)并不會收斂到單個輸出神經(jīng)元,抑制性神經(jīng)元權(quán)重的任何設(shè)置將同等地影響所有的輸出神經(jīng)元?!改阈枰S機性來打破這種對稱性,」Parter解釋道。
研究人員能夠確定所需要的輔助神經(jīng)元的最小數(shù)量,以保證特定收斂的速度,以及在一定數(shù)量的輔助神經(jīng)元的情況下的最大收斂速度。
越多的收斂神經(jīng)元并不代表著收斂速度一定會加快,比如說現(xiàn)在有100個輸入神經(jīng)元,兩到三個收斂神經(jīng)元已經(jīng)足夠,而增加第四個并不會增加你的速度。與此同時,一個穩(wěn)定神經(jīng)元已經(jīng)足夠。
但更有意思的地方在于,研究人員發(fā)現(xiàn)興奮性神經(jīng)元(刺激)與抑制神經(jīng)元一樣,并不能增強神經(jīng)網(wǎng)絡(luò)的處理效率。
Salk生物研究所的助理教授Saket Navlakha表示,這個模型能夠應(yīng)用于很多的感覺系統(tǒng)中,包括生成稀疏碼的嗅覺系統(tǒng)?!肝覀円呀?jīng)發(fā)現(xiàn)了許多類型的抑制性神經(jīng)元,下一步我們打算看看是否能像論文所說的一樣,將抑制性神經(jīng)元分為上述兩類。」
卡耐基梅隆大學(xué)計算機科學(xué)Ziv Bar-Joseph表示,「神經(jīng)科學(xué)在計算模型上需要考慮更多的細(xì)節(jié),除了抑制性神經(jīng)元如何發(fā)生作用外,什么樣的蛋白質(zhì)能夠驅(qū)動它們呢?」目前,Nancy正在對神經(jīng)網(wǎng)絡(luò)進行全面性的觀察,并研究抑制神經(jīng)元的數(shù)量。而這種基于宏觀層面范圍內(nèi)的建模,相信能夠為人類帶來普適性更強的預(yù)測。
(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )