原標(biāo)題：史上最強(qiáng)NLP模型GPT 2.0的吃瓜指南

元宵一過 ，年就算正式過完了。沒曾想OpenAI和馬斯克，居然抓住了春節(jié)的小尾巴，攜手為全球人民貢獻(xiàn)出一個(gè)大瓜。

事情是這樣的，上周OpenAI推出了一個(gè)號稱“史上最強(qiáng)通用NLP模型”的新算法GPT-2.0，卻沒有按照慣例開放該模型和數(shù)據(jù)集。

研究人員們的溢美之詞還沒來得及說完，立馬被OpenAI這波操作氣得怒從心頭起，紛紛斥責(zé)它全忘初心、惡意炒作。

有人吐槽它應(yīng)該改名叫“ClosedAI”，還有人把怒火燒到了OPENAI的資助者之一的埃隆·馬斯克身上。后者卻立馬甩鍋，表示“沒有參與 OpenAI 公司事務(wù)已超過一年”，“早就理念不合”，正式發(fā)推要求“和平分手”……

不但惹了眾怒，還把創(chuàng)始人兼金主爸爸給玩跑了，OpenAI這是攤上大事，順手承包了一個(gè)瓜田啊。

想要有技術(shù)、有品位地吃瓜，先得了解一下，能攪亂技術(shù)社區(qū)的一池春水、讓OpenAI心甘情愿背鍋的“罪魁禍?zhǔn)住薄狦PT2.0，到底有什么神奇之處？

風(fēng)暴中心的GPT2.0究竟有多特別？

我們知道，訓(xùn)練大型神經(jīng)網(wǎng)絡(luò)語言模型一直是NLP領(lǐng)域最具含金量的研究。其中，語義的連貫性，也就是語言生成模型預(yù)測上下文的準(zhǔn)確度，一直是一個(gè)“老大難”問題。

為了解決這個(gè)難題，性能更好的通用語言模型就成了研究人員關(guān)注的重點(diǎn)。從AI2的 ELMo，到OpenAI的GPT1.0，再到前不久Google的BERT，都是為了讓機(jī)器不再尬言尬語顛三倒四，說話更加通順連貫。

但萬萬沒想到，幾個(gè)月前號稱“引領(lǐng)NLP走進(jìn)新時(shí)代”的BERT，這么快就被GPT2.0取代了。

按照深度學(xué)習(xí)四大要素來對比一下，GPT 2.0到底強(qiáng)在哪里呢？

1. 訓(xùn)練數(shù)據(jù)。引發(fā)廣泛關(guān)注的BERT，使用了3億參數(shù)量進(jìn)行訓(xùn)練，刷新了11項(xiàng)NLP紀(jì)錄，這在當(dāng)時(shí)是前所未有的。

而OpenAI推出的GPT-2，則參數(shù)量則“喪心病狂”地達(dá)到了15億之多，在一個(gè)800 萬網(wǎng)頁數(shù)據(jù)集上訓(xùn)練而成，覆蓋的主題五花八門。不夸張的說，GPT-2 可能是當(dāng)前最大的深度模型了。

2. 模型。在深度學(xué)習(xí)方法上，“先進(jìn)代表”BERT和GPT-2都采用了Transformer 技術(shù)。與傳統(tǒng)的特征抽取器RNN、CNN相比，Transformer無論是特征抽取、計(jì)算效率，還是翻譯任務(wù)的綜合能力上，都穩(wěn)操勝券。

不同之處在于，BERT用雙向語言模型做預(yù)訓(xùn)練，而GPT2.0則使用了古早時(shí)代的單向語言模型。坦率地說，GPT-2在預(yù)訓(xùn)練中可以使用的架構(gòu)類型因此受到了限制，無法全面地融合語境，結(jié)果就是在下游任務(wù)中展現(xiàn)出來的性能遠(yuǎn)沒有當(dāng)初BERT來得驚艷。

至于為什么不“見賢思齊”，采用更先進(jìn)的雙向語言模型，大概是用長矛干翻步槍這種挑戰(zhàn)，更能彰顯出“藝高人膽大”的極客風(fēng)范吧。

3. 算力?！熬逕o霸”GPT-2的預(yù)訓(xùn)練數(shù)據(jù)量規(guī)模橫掃所有玩家，使用了約 1000 萬篇文章的數(shù)據(jù)集，文本集合達(dá) 40GB。這樣訓(xùn)練出來的語言模型優(yōu)勢很明顯，比使用專有數(shù)據(jù)集來的通用性更強(qiáng)，更能理解語言和知識邏輯，可以用于任意領(lǐng)域的下游任務(wù)。

但要完成這項(xiàng)任務(wù)，必須使用超大規(guī)模的GPU機(jī)器學(xué)習(xí)集群，OpenAI為此不得不去爭奪緊張而昂貴的GPU訓(xùn)練時(shí)間，光是龐大的開銷就足以勸退很多想復(fù)現(xiàn)其工作的研究者了。

4. 應(yīng)用。說了這么多，GPT-2的實(shí)際應(yīng)用效果究竟如何呢？來欣賞一下它的文學(xué)作品：

輸入喬治·奧威爾《一九八四》的開場白：“這是四月的一天，天氣晴朗而寒冷，鐘敲了十三下”。系統(tǒng)就識別出模糊的未來主義基調(diào)和小說風(fēng)格，并繼續(xù)寫道：

“我在去西雅圖找新工作的路上開著車。我把汽油放進(jìn)去，把鑰匙放進(jìn)去，然后讓它跑。我只是想象著那天會是什么樣子。一百年后的今天。2045 年，我在中國農(nóng)村的一所學(xué)校教書。我從中國歷史和科學(xué)史開始?！?/p>

不僅情緒模仿到位，GPT-2還能創(chuàng)新觀點(diǎn)（哪怕是錯(cuò)誤的）。比如發(fā)表“回收對世界不利。這對環(huán)境有害，對我們的健康有害，對經(jīng)濟(jì)不利?！边@樣毫不政治正確、似是而非的言論。

從實(shí)際效果來看，GPT-2理解上下文、生成段落、語序連貫性的能力還是有目共睹的。難怪有專家說，未來加上情節(jié)的約束，GPT-2續(xù)寫《紅樓夢》后40回也是有可能的。

儼然是一顆冉冉升起的寫作新星，也確實(shí)能忽悠到一大部分不明所以的群眾。但連“跨時(shí)代”的BERT都爽快開源了，也就優(yōu)秀了那么一小點(diǎn)的GPT-2的閉源，就顯得有些耐人尋味了。

從技術(shù)斗士到眾矢之的：OpenAI是如何打錯(cuò)一手好牌的？

甩出一個(gè)“怕被惡意用來制造假新聞”的說辭，自然說服不了經(jīng)歷過大風(fēng)大浪的人民群眾。假視頻都見識過了，機(jī)器人代筆寫點(diǎn)新聞算什么呢，何況也就是小學(xué)生水平，至于“敝帚自珍”嗎？

同業(yè)們開始口誅筆伐，馬斯克走得是瀟灑無比。細(xì)數(shù)一下，OpenAI為之詬病的三宗罪：

1.違背了開放的行業(yè)“潛規(guī)則”

今日的互聯(lián)網(wǎng)，開源文化早已枝繁葉茂，在AI領(lǐng)域，開放更是默認(rèn)選項(xiàng)了。

底層技術(shù)的更新?lián)Q代，需要更廣泛的生態(tài)系統(tǒng)、更多的頂尖技術(shù)人員、更多的機(jī)構(gòu)參與才能做好，開放合作顯然能最快地催生出更多尖端的創(chuàng)新。

正是因此，絕大多數(shù)研究成果及源碼，都可以通過博客、會議、社區(qū)等公開形式獲取，這樣做的另一個(gè)好處是，避免研究資源被浪費(fèi)，最大限度地保證研究的合理性和真實(shí)性。OPENAI的閉源顯然違背了這一基本規(guī)則。

2.慣性炒作帶來的“暈輪效應(yīng)”

心理學(xué)上有個(gè)規(guī)律，叫“暈輪效應(yīng)”，當(dāng)認(rèn)知者對一個(gè)人的某種特征形成固定印象后，還會再從這個(gè)判斷推論其他方面的特征。OPENAI就很不幸地背上了一個(gè)“欺騙性炒作”前科的“光環(huán)”，并成功引發(fā)了大家的聯(lián)想。

之前在一對一DOTA2中打敗頂級人類玩家 “Dendi”，OPENAI就發(fā)出了諸如“攻陷DOTA2”“AI完虐人類”“碾壓AlphaGo”等宣言，就被指過于浮夸。

過度夸大、誘導(dǎo)媒體報(bào)道的事情OPENAI實(shí)在沒少干。目光回到GPT-2，普遍觀點(diǎn)是，為了避免造假風(fēng)險(xiǎn)而不開放，既對安全毫無幫助，也對技術(shù)進(jìn)步無益。

面對非要采用過氣模型的固執(zhí)，和“碾壓人類作者”的語氣，大家立馬從熟悉的套路中嗅到了“同樣的配方和味道”。那點(diǎn)可取之處，也被既往炒作“AI焦慮”的后遺癥所反噬了。

3.助長AI集權(quán)的真實(shí)陰影

如果說上述指責(zé)都難免帶點(diǎn)理想主義情緒的話，那么GPT-2私有化帶來的實(shí)實(shí)在在的影響，恐怕才是點(diǎn)燃大眾恐慌的真正導(dǎo)火索。

作為“新的石油”，數(shù)據(jù)資源早就顯示出封閉的跡象。谷歌、亞馬遜、Facebook這些科技巨頭手里積累了大量的數(shù)據(jù)財(cái)富，并且越來越強(qiáng)大。各國都將AI成果視為國家戰(zhàn)略資源，德法等已經(jīng)開始對數(shù)據(jù)收集及使用征稅。

而以GPT-2為代表的無監(jiān)督學(xué)習(xí)趨勢，又意味著技術(shù)進(jìn)步與創(chuàng)新愈加依賴于更大容量的模型和超大規(guī)模的數(shù)據(jù)集支持。

也就是說，一旦大公司不愿意開放源碼和數(shù)據(jù)集，財(cái)力不足的學(xué)府和中小開發(fā)者極有可能就會被請出牌桌。

當(dāng)初說要“為全人類 AI 技術(shù)保駕護(hù)航”的OpenAI都搞起了私有化，顯然令開源文化“腹背受敵”，起到了很惡劣的示范作用，怎么懟都不冤。

不過，只是一味指責(zé)，咱們這瓜就吃的太沒有技術(shù)含量了。關(guān)鍵要搞清楚，為什么明知會被噴，OpenAI還非要這么干呢？

開源和私有化：算法公司的商業(yè)困境

OpenAI選擇技術(shù)私有化，雖然有著種種的不合情，在知識產(chǎn)權(quán)歸屬上卻并沒有什么可指摘的地方。而逼得它不得不違背理想的根本原因，或許才是AI和全人類真正的敵人。

簡單來說，正是算法公司們集體商業(yè)化失守。

美國當(dāng)代技術(shù)哲學(xué)家芬伯格（Andrew Feenberg）在上個(gè)世紀(jì)90年代就曾經(jīng)提出過，技術(shù)的開放是為了提高全社會的技術(shù)福利，而非打擊技術(shù)的商業(yè)價(jià)值。但直到今天，算法的商業(yè)化之路依然道阻且長。

在高昂的數(shù)據(jù)及研發(fā)成本下，算法公司想要支撐長期的研究，主要有三種方式：

1.售賣專利。算法研發(fā)可算是AI產(chǎn)業(yè)鏈中最上游、最具價(jià)值的業(yè)務(wù)，但即便算法公司手握專利，在更深層次的軟硬件應(yīng)用方案不成熟的大環(huán)境下，也很難養(yǎng)活自己。

2.開源，從其他業(yè)務(wù)獲益。借鑒互聯(lián)網(wǎng)“羊毛出在豬身上”的商業(yè)模式，算法的價(jià)值可以通過其他業(yè)務(wù)的補(bǔ)充來實(shí)現(xiàn)。

比如Facebook一直致力于開放其所有代碼和技術(shù)架構(gòu)的源代碼，吸引來不少優(yōu)秀的開發(fā)者，品牌和口碑也借此大漲。但前提是，F(xiàn)acebook不靠售賣軟件盈利，開源不會沖擊自有業(yè)務(wù)。對于單純的算法公司來說，顯然不可行。

3.找金主“包養(yǎng)”。目前看來，尋找一個(gè)大型商業(yè)機(jī)構(gòu)得到資助，幾乎是算法公司最好的歸宿了，比如谷歌之于Deepmind，特斯拉之于OpenAI。但受制于人的日子顯然也并不好過。

兩者結(jié)合的結(jié)果就是，一邊需要滿足投資人追求回報(bào)的愿望；一邊還要提防著主業(yè)務(wù)受創(chuàng)耽擱自己搞技術(shù)。此次馬斯克退出董事會，OpenAI的未來頓時(shí)就不明朗起來。

總而言之，OpenAI的開源困境背后，也暴露出一種純技術(shù)公司的集體無奈：你得開源，要不然沒法維持技術(shù)生態(tài)；又不能啥都開源，捧著金碗要飯。這個(gè)度真的是很難把握。

不難意識到，隨著數(shù)據(jù)封閉的浪潮，AI開源的未來不容樂觀已是既定事實(shí)，OpenAI只不過是加了一把火而已，私有化的鍋它一個(gè)可背不動。

要解決這個(gè)問題，靠的不是道德綁架或者祈求大機(jī)構(gòu)的仁慈，口水戰(zhàn)可以休矣。而是集全社會之力，更快催熟完善的產(chǎn)業(yè)鏈體系，激活更多元的商業(yè)模式和應(yīng)用場景。

算法的商業(yè)化價(jià)值初現(xiàn)曙光的時(shí)候，才是科技企業(yè)有力量承擔(dān)社會責(zé)任的時(shí)候。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實(shí)，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。