新智元報(bào)道
來源：Twitter
編輯：三石、元子
【新智元導(dǎo)讀】前幾日，OpenAI發(fā)布史上最強(qiáng)“通用”NLP模型，但號稱過于強(qiáng)大怕被濫用而沒有開源，遭到網(wǎng)友猛恝炮轟。而做為創(chuàng)始人之一的馬斯克，雖然早已離開董事會(huì)，礙于輿論，不得不站出來做出澄清：我早已退出。
OpenAI發(fā)布的史上
最強(qiáng)NLP
似乎成了負(fù)面新聞。
原因是，OpenAI并沒有公布GPT-2模型及代碼，只是象征性的公布了一個(gè)僅含117M參數(shù)的樣本模型及代碼，給到的理由：因?yàn)檫@個(gè)模型能力太強(qiáng)大了！他們目前還有點(diǎn)hold不住它。一旦開源后被壞人拿到，將會(huì)貽害無窮。
之后有網(wǎng)友氣不過跑到馬斯克推特底下，叫罵OpenAI干脆改名CloseAI。
然而，馬斯克卻連發(fā)數(shù)文，澄清與OpenAI的關(guān)系：我早已退出。
馬斯克表示，已經(jīng)有一年多的時(shí)間沒有和OpenAI密切合作了，并且也沒有管理層和董事會(huì)的監(jiān)督。
而后有網(wǎng)友追問：“一直不知道你為何離開OpenAI，可否給予詳細(xì)的解釋說明？”
馬斯克便又在推特上補(bǔ)充道：
我必須集中精力解決大量讓人頭疼的工程和制造問題，尤其是在特斯拉和SpaceX方面。
此外，特斯拉與OpenAI在人才爭奪方面也有一些交集，我并不同意其團(tuán)隊(duì)想要做的一些事情。綜上所述，希望最好是友好分手。
曾是人工智能的反對者，卻創(chuàng)立高端AI公司
2015年12月，馬斯克與Y Combinator總裁Sam Altman共同創(chuàng)立這個(gè)非營利組織研究機(jī)構(gòu)，以研究人工智能的道德和安全問題。
然而，在親手創(chuàng)辦兩年多后，伊隆·馬斯克退出了OpenAI董事會(huì)。
雖然馬斯克于去年2月離開了該組織，但卻一直被認(rèn)為是OpenAI主要資助者之一。
官博地址：
https://blog.openai.com/openai-supporters/
OpenAI在去年2月20日發(fā)布的官方博客中也提到：“馬斯克將離開OpenAI董事會(huì)，但仍將繼續(xù)為該組織提供捐贈(zèng)和建議。隨著特斯拉將更加關(guān)注人工智能，這將消除馬斯克未來潛在的沖突。”
值得注意的是，馬斯克一直是人工智能最大的批評者之一。2014年在麻省理工學(xué)院演講時(shí)，他將人工智能描述為“存在的最大威脅”，甚至稱之為“召喚惡魔”。
他還認(rèn)為人工智能甚至可以導(dǎo)致第三次世界大戰(zhàn)。他補(bǔ)充稱，大國之間都不會(huì)故意發(fā)動(dòng)核戰(zhàn)爭，但人工智能將是最有可能的、先發(fā)制人的取勝之道。
OpenAI稱模型使用15億參數(shù)，訓(xùn)練一小時(shí)相當(dāng)于燒掉一臺iPhone Xs Max（512G）
馬斯克之所以被@出來說明一個(gè)問題：Elon離開OpenAI的消息，還有很多人不知道，或者知道他已經(jīng)離開了董事會(huì)卻不知為何，導(dǎo)致他又特意出來發(fā)推澄清一下，順便又蹭了一下OpenAI最近的熱點(diǎn)。
OpenAI近日宣稱他們研究出一個(gè)GPT-2的NLP模型，號稱“史上最強(qiáng)通用NLP模型”，因?yàn)樗牵?/p>
踩在15億參數(shù)的身體上：爬取了Reddit上點(diǎn)贊超過三票的鏈接的文本內(nèi)容，大約用到1000萬篇文章，數(shù)據(jù)體量超過了40G，相當(dāng)于35000本《白鯨記》。（注：小說約有21萬單詞，是電影《加勒比海盜》的重要故事參考來源之一。動(dòng)漫《海賊王》里四皇之一的白胡子海賊團(tuán)的旗艦就是以故事主角大白鯨的名字Moby Dick命名）。
無需預(yù)訓(xùn)練的“zero-shot”：在更通用的數(shù)據(jù)集基礎(chǔ)上，使用自注意力模塊遷移學(xué)習(xí)，不針對任何特定任務(wù)的數(shù)據(jù)進(jìn)行訓(xùn)練，只是作為最終測試對數(shù)據(jù)進(jìn)行評估，在Winograd Schema、LAMBADA以及其他語言建模任務(wù)上實(shí)現(xiàn)了state-of-the-art 的結(jié)果。
最終結(jié)果：8個(gè)數(shù)據(jù)集中油7個(gè)刷新當(dāng)前最佳紀(jì)錄。
下表顯示了最先進(jìn)的zero-shot結(jié)果。(+)表示該項(xiàng)分?jǐn)?shù)越高越好。(-)表示分?jǐn)?shù)越低越好。
雖然OpenAI沒有在論文中提及具體的計(jì)算力及訓(xùn)練時(shí)間，但通過公布的數(shù)據(jù)推測，他們的模型使用了256個(gè)谷歌云TPU v3。
TPU v3在Google之外只提供單獨(dú)使用版本(排除OpenAI可能得到了特別的許可)，很可能GPT-2訓(xùn)練時(shí)所需的成本將高達(dá)8 * 256 = 2048美元/小時(shí)，相當(dāng)于一小時(shí)燒掉一臺512G的iPhone Xs Max。
然而，OpenAI并沒有公布GPT-2模型及代碼，只是象征性的公布了一個(gè)僅含117M參數(shù)的樣本模型及代碼，相當(dāng)于他們宣稱使用的數(shù)據(jù)量的0.29%。（有興趣的讀者可以去 https://github.com/openai/gpt-2 查看）
OpenAI給出的理由是：因?yàn)檫@個(gè)模型能力太強(qiáng)大了！他們目前還有點(diǎn)hold不住它。一旦開源后被壞人拿到，將會(huì)貽害無窮。有點(diǎn)中國武俠小說里，絕世武功秘籍的意思。
面臨著實(shí)驗(yàn)重現(xiàn)的危機(jī)，網(wǎng)友吐槽：不公開代碼和訓(xùn)練集就干脆別發(fā)表！
于是開發(fā)者和學(xué)者們不干了，紛紛質(zhì)疑OpenAI這種做法顯得心口不一。甚至盛產(chǎn)吐槽大神的Reddit上，有人建議OpenAI干脆改名CloseAI的言論，獲得了數(shù)百網(wǎng)友的點(diǎn)贊。
OpenAI干脆改名“CloseAI”算了！
我也做了個(gè)超強(qiáng)大的MNIST模型，要不要擔(dān)心它被濫用而不公開呢？
更有甚者，比如下面這位Ben Recht，還發(fā)了一條Twitter長文進(jìn)行嘲諷：
今天我要介紹我們的論文“Do ImageNet Classifiers Generalize to ImageNet?”我們嘗試按照原論文描述復(fù)現(xiàn)其結(jié)果，但發(fā)現(xiàn)這樣做實(shí)在太難！
……我們完全可以基于一個(gè)不能公開的數(shù)據(jù)集構(gòu)建一個(gè)超大模型，在我們自己的標(biāo)準(zhǔn)ML范式中很難發(fā)生過擬合。
但是，測試集上的一個(gè)微小改動(dòng)就會(huì)導(dǎo)致分布結(jié)果大幅變化，你可以想見把模型和代碼全都公布出來以后會(huì)發(fā)生什么！
PS 這篇論文還在arxiv等候?qū)徍税l(fā)布，要不是我們的最終版PDF過大，那就是因?yàn)閍rxiv也學(xué)著OpenAI的做法，覺得AI/ML研究太過危險(xiǎn)而不能公開。
因?yàn)槿斯ぶ悄苓@個(gè)蓬勃發(fā)展的領(lǐng)域正面臨著實(shí)驗(yàn)重現(xiàn)的危機(jī)，AI研究者發(fā)現(xiàn)他們很難重現(xiàn)許多關(guān)鍵的結(jié)果。
針對主要會(huì)議上發(fā)表的400篇AI論文的調(diào)查顯示，只有6％的論文包含算法的代碼，約30％包含測試數(shù)據(jù)，54％包含偽代碼。
CREDITS: (GRAPHIC) E. HAND/SCIENCE; (DATA) GUNDERSEN AND KJENSMO, ASSOCIATION FOR THE ADVANCEMENT OF ARTIFICIAL INTELLIGENCE 2018
去年，加拿大蒙特利爾大學(xué)的計(jì)算機(jī)科學(xué)家們希望展示一種新的語音識別算法，他們希望將其與一名著名科學(xué)家的算法進(jìn)行比較。
唯一的問題：該benchmark的源代碼沒有發(fā)布。研究人員不得不從已公開發(fā)表的描述中重現(xiàn)這一算法。
但是他們重現(xiàn)的版本無法與benchmark聲稱的性能相符。蒙特利爾大學(xué)實(shí)驗(yàn)室博士生Nan Rosemary Ke說：“我們嘗試了2個(gè)月，但都無法接近基準(zhǔn)的性能。”
另外一群人更擔(dān)心GPT-2會(huì)導(dǎo)致假新聞出現(xiàn)井噴。OpenAI也拿DeepFake舉了個(gè)例子。
DeepFake由于其強(qiáng)大的圖像生成能力，成了一個(gè)“假臉生成器/換臉器”，制造出大量惡意的虛假視頻、音頻和圖像，最終被禁用。
比如這次，不懷好意的人完全可以借助GPT-2，發(fā)布有關(guān)Elon的假新聞，說他雖然公開宣稱去年就退出OpenAI，但實(shí)際上私下還在OpenAI身居要職，恐怕也會(huì)有很多人相信。
技術(shù)是把雙刃劍，越是強(qiáng)大的技術(shù)，一旦被用于壞用途，約可能造成更壞的結(jié)果。那么在這場意外掀起的激烈爭論中，你站在哪一邊呢？
參考鏈接：
https://twitter.com/elonmusk/status/1096989482094518273?ref_src=twsrc%5Etfw%7Ctwcamp%5Etweetembed%7Ctwterm%5E1096989482094518273&ref_url=https%3A%2F%2Fwww.bloomberg.com%2Fnews%2Farticles%2F2019-02-17%2Felon-musk-left-openai-on-disagreements-about-company-pathway
https://www.hindustantimes.com/tech/elon-musk-distances-himself-from-openai-group-that-built-fake-news-ai-tool/story-Q3PkEU6fsJQVkhilpPCQ8M.html
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
