精品国产亚洲一区二区三区|亚洲国产精彩中文乱码AV|久久久久亚洲AV综合波多野结衣|漂亮少妇各种调教玩弄在线

<blockquote id="ixlwe"><option id="ixlwe"></option></blockquote>
  • <span id="ixlwe"></span>

  • <abbr id="ixlwe"></abbr>

    注意力機制想要覺醒AI,總共分幾步?

    原標題:注意力機制想要覺醒AI,總共分幾步?

    一場疫情,讓所有線下會議按下了暫停鍵,AI也不例外。

    但一年一度的“頂會”卻不能不開,于是在4月26日,ICLR 2020(國際表征學習大會)就采取虛擬會議的形式,讓所有網(wǎng)友得以共襄盛舉。

    值得一提的是,本次ICLR 大會接受了2594篇論文中的687篇,吸引了來自近90個國家的5600多名參與者,比2019年的2700人翻了一倍還多。不過,受疫情影響,這次大會也沒有評選最佳論文。

    既然如此,有沒有出現(xiàn)什么新鮮事物,值得我們思索和探究的呢?

    那就不得不提到圖靈獎獲得者、蒙特利爾學習算法研究所主任Yoshua Bengio,在其特邀報告中著重強調(diào)的“AI覺醒”。

    此前我們科普過,通用人工智能有多么遙遠。怎么短短幾年功夫,人工智能就要覺醒了?這就不得不從被Bengio視作機器學習大殺器的注意力機制說起了。

    將意識注入機器:注意力機制再添重任

    腦極體的資深讀者應該對注意力機制并不陌生。在圖像處理、語音識別、自然語言處理等機器學習任務中,近兩年來都會引入注意力模型。

    這么受業(yè)界歡迎,它的特點自然很突出:

    一是可以讓神經(jīng)網(wǎng)絡學會只關注特定的部分,大幅度提升任務的效果與效率,在神經(jīng)機器翻譯、預訓練語言模型、圖像識別等任務中都表現(xiàn)出了前所未有的成效。2015年Bahdanau 等人提出注意力機制之后,就被ICLR 錄用,如今它的各種變式已經(jīng)成為機器翻譯算法的“標配”。

    二是降低機器學習的成本,同時增加可解釋性。大家都知道深度學習神經(jīng)網(wǎng)絡的模型訓練,往往依靠大規(guī)模的數(shù)據(jù)集,不僅數(shù)據(jù)獲取成本很高,訓練的算力、時間也不菲,而注意力機制的“選擇性”,能夠直接為訓練提質(zhì)增效,并且還能為序列數(shù)據(jù)建立了權值和映射,從而讓輸入和輸出能夠聯(lián)系起來,避免了算法的“黑箱性”。

    既然注意力機制并不是什么新鮮事物,為什么Bengio特意在其報告《與意識相關的深度學習先驗》中,將注意力機制奉為圭臬,甚至成了AI的希望?

    簡單來說,Bengio認為注意力機制能夠幫助機器學習模型獲得“有意識”的推理。

    此前,諸多算法創(chuàng)新(如自監(jiān)督學習、元學習、多任務學習、遷移學習等)都是在幫助機器學習獲得“無意識”,也就是與人類直覺、習慣、先驗經(jīng)驗等類似的能力。

    有了這種能力,AI可以很快地執(zhí)行一些直覺型的任務,讓人感到非常智能。比如當AI被訓練學會了一些隱性知識以后,能夠?qū)⑦@些知識內(nèi)化,在遇到新事物時不需要重新訓練,就能夠很快適應。舉個例子,當AI記住路況之后,它能夠自如地跟乘客聊天,同時也不耽誤自己隨時響應交通狀況、安全駕駛。這是不是已經(jīng)超越許多人類駕駛員了呢?

    但如果是在一個全新的道路上開車,如果有人在耳邊吵鬧,就會打斷人類司機的思路,使對方無法集中精力處理。這時候就要用到前面提到的“有意識的”系統(tǒng),來將一些新的概念,在新的情況下與不熟悉的東西聯(lián)系起來。

    就像《西部世界》的科學顧問、神經(jīng)學家大衛(wèi)·伊格爾曼(David Eagleman)所說,意識,是一種突破程序設定的連接。

    當機器可以超越設定開始自行推理和思考,適應甚至推斷出外界變化發(fā)生的原因,這不就是Deloris(《西部世界》女主角)們覺醒的時刻嗎?

    從這個角度講,“有意識”的推理能力,正是深度學習變強大所需要的。

    從超越人到模仿人,AI的回歸之路

    既然“操縱”意識這么帶感,學者們又是如何為之努力的?過去數(shù)年間,注意力機制已經(jīng)發(fā)生了不小的發(fā)展和進步。

    從時間上看,注意力機制的能力開始為AI所用,要追溯到2014年谷歌團隊在一個RNN卷積神經(jīng)網(wǎng)絡模型上用它來進行圖像分類。但真正爆發(fā),主要還是由于其在NLP機器翻譯任務中證明了自己。

    2017年,谷歌機器翻譯團隊發(fā)表的《Attention is all you need》中,提出了一種新穎的基于注意力的機器翻譯架構,大量使用自注意力(self-attention)機制來學習文本表征,成為當年最具影響力的論文之一。

    隨后,它開始被廣泛應用在基于RNN/CNN等神經(jīng)網(wǎng)絡模型的NLP任務中,也延伸出了不少變式,比如基于輸入項的柔性注意力(Item-wise Soft Attention)、基于輸入項的硬性注意力(Item-wise Hard Attention)、基于位置的柔性注意力(Location-wise Soft Attention)等等,核心指導思想都差不多,就是在神經(jīng)網(wǎng)絡的隱藏層,增加注意力機制的加權。

    但需要注意的是,注意力機制依然存在不少問題:

    比如,注意力機制與其說是一種技術,不如說是一種指導思想。通過模擬人類閱讀、聽說中的注意力行為,來為不同輸入數(shù)據(jù)分配不同的權重。想要去的比較理想的效果,依然需要大量的數(shù)據(jù)投入訓練。

    可以說,注意力機制在神經(jīng)機器翻譯(NMT)任務上的優(yōu)秀表現(xiàn),依然建立在有大量高質(zhì)量語料的前提下。一旦面對比較極端的情況,比如某些語言幾乎沒有任何雙語語料,那再強的注意力機制也得抓瞎。

    再比如,注意力機制達到“有意識”推理的前提,是具備理解隱性知識的能力,也就是那些難以用語言、文字、圖表進行表述說明,不經(jīng)過邏輯推理、而是借由感官、直覺、領悟獲得的能力。

    這對人類來說是“小菜一碟”,但想要將其嵌入到深度學習算法里面,卻并不是一件簡單的事。DeepMind就曾開發(fā)出一個交互式網(wǎng)絡,試圖教會智能體像嬰兒一樣迅速了解到某些對象的屬性和關系。交互式網(wǎng)絡的預測結果要比一般神經(jīng)網(wǎng)絡精確得多,但距離模擬人類直覺迅速反饋,還為時尚早。而且,機器必須犯上成千上萬次的錯誤,才能做出和人類一樣的正確操作。

    換句話說,Bengio眼中的“注意力機制”,其實是升級版的“注意力3.0”,距離“機器覺醒”還早著呢。

    機器覺醒,光靠Attention單打獨斗還不行

    上述問題不僅阻攔了注意力機制的“封神之路”,也是阻擋人工智能發(fā)揮更高價值的障礙。

    接下來向何處去,或許正如注意力機制被引入RNN一樣,繼續(xù)主動引入其他領域的算法和模型,會帶來不可知的神奇效果。

    而從ICLR 2020的技術趨勢來看,也有不少算法開始被用來,與注意力機制一起解決諸如直覺、泛化等機器能力的重要問題。

    比如元學習。在今年的入選論文中,谷歌有5篇是專門研究元學習。

    簡單來說,元學習就是要讓智能體利用以往的知識經(jīng)驗“學會如何學習”(Learning to learn),然后更高效地完成新任務。

    具備這種能力,自然也就能夠解決訓練數(shù)據(jù)不足、系統(tǒng)通用性低等問題,幫助AI不斷豐富和修正自身的知識網(wǎng)絡。具備了這一能力,獲得了人類常識的AI才有希望到達“有意識”的推理。

    最后,也有必要大開腦洞,試想一下如果“有意識”的推理實現(xiàn),AI真的覺醒了,又會為人類帶來什么呢?

    猜想一,AI的服務能力會顯而易見的提升,在實踐中不斷學習處理復雜的工作將不再是難事,想象中的智能家政機器人、智能女友/男友,都不再是問題。

    猜想二,AI可以像人類一樣推理,同時擁有了情感,那么自然可以締結自己的社會關系,屆時為什么整個社會還需要如我這樣的普通人,咱也不知道。

    幸好,今天無論是注意力機制,還是人工智能本身,想要復刻人類的腦力還需要更長的時間,以及更多的耐心。更值得欣慰的是,在疫情“黑天鵝”的席卷之下,AI依然帶領全球產(chǎn)業(yè)者連接、思考、探尋未來的藏寶圖,這或許就是技術最令人沉迷之處。

    極客網(wǎng)企業(yè)會員

    免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時,應及時向本網(wǎng)站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關文章源頭核實,溝通刪除相關內(nèi)容或斷開相關鏈接。

    2020-05-07
    注意力機制想要覺醒AI,總共分幾步?
    2015年Bahdanau 等人提出注意力機制之后,就被ICLR 錄用,如今它的各種變式已經(jīng)成為機器翻譯算法的“標配”。

    長按掃碼 閱讀全文