原標題：被捧上天的GPT-3，商業(yè)化之路怎么走？

對于我個人來說，剛剛步入媒體圈，職業(yè)生涯就將遭遇一次非常嚴重的AI威脅。

因為GPT-3來了，而且在寫文章、編故事的能力上面比上一代更能打了。

今年5月，已經(jīng)得到微軟Azure算力加持的OpenAI放出了GPT-3這個巨型NLP模型怪獸，包含1750億參數(shù)，比2月份微軟剛推出的全球最大深度學習模型Turing NLG大上十倍，是其前身GPT-2參數(shù)的100倍。

我們可以用一張圖表來直觀感受下GPT-3所處在位置，是不是有點高處不勝寒的感覺？

同時，GPT-3使用的訓練數(shù)據(jù)集也十分龐大，基于包含近1萬億單詞量的CommonCrawl數(shù)據(jù)集、網(wǎng)絡文本、數(shù)據(jù)、維基百科等數(shù)據(jù)，數(shù)據(jù)量達到了45TB。其訓練費用也達到驚人的1200萬美元，這已經(jīng)是個人開發(fā)者和小型AI開發(fā)團隊無法輕易染指的訓練規(guī)模和成本了。

在最近大量有關GPT-3的介紹文章里，很多人都注意到的是這個模型驚人的體量和各種各樣腦洞大開的文本生成能力，不僅是寫文章、編故事、搞翻譯，還包括多輪對話、寫代碼、做數(shù)學運算、表情包配文、做表格、生成圖標等等，幾乎是在文本方面為所欲為了。

有人驚呼“真正的AI已經(jīng)到來”、“GPT-3可以改變世界了”，也有人說“GPT-3是一種形象工程”、“一種赤裸裸的炫富”。

無論評價如何，人們其實都并未過多注意到OpenAI現(xiàn)在發(fā)布GPT-3的API接口的一大原因是推動這一技術的商業(yè)化?，F(xiàn)在，GPT-3模型已經(jīng)廣泛應用的領域當中，有哪些領域更好地進行商業(yè)化嘗試，又有哪些領域仍然差強人意，這些也許是更值得我們?nèi)ヌ接懙牡胤健?/p>

GPT-3到底有多厲害？

相較于之前的GPT-2，這次GPT-3有哪些明顯的進步呢？

從訓練方式來說，與之前版本并沒有什么不同，GPT-3依舊延續(xù)之前的單向語言模型訓練方式，只不過就是訓練數(shù)據(jù)和參數(shù)有了幾個數(shù)量級的提升。但從實際的效果來看，GPT-3的嘗試至少驗證了一點，就是將一個深度神經(jīng)網(wǎng)絡不斷增大，它確實可以變得更加的聰明。

相較于當前的BERT模型，GPT-3主要能夠解決兩個問題，一個是避免對各領域內(nèi)的標注數(shù)據(jù)的過分依賴，一個是避免對各領域數(shù)據(jù)分布的過度擬合，從而調(diào)教出一個更通用、更泛化的NLP模型。GPT-3的主要目標是用更少的領域數(shù)據(jù)，還有去掉微調(diào)步驟去解決問題。

（圖源：李宏毅《深度學習人類語言處理》）

直觀來理解就是如圖所示，GPT-3就是要拿掉Fine-tune（微調(diào)）這個環(huán)節(jié)，也拿到Task-Specific的示例資料，來直接對特殊的領域問題進行回答。

基于此，研究者們使用GPT-3在不同形式下進行了推理效果的測試，包括Zero-shot、One-shot、Few-shot三種，但是這三種形式都是不需要經(jīng)過Fine-tuning的。因為GPT-3選擇的是單向transformer，所以它在預測新的token時，會對之前的examples進行編碼。

那么，測試結果如何呢？

從各領域的42項基準測試中的平均表現(xiàn)來看，隨著參數(shù)量的不斷加大，其正確率在不斷提升（當然有人會質(zhì)疑，模型提升了10倍參數(shù)量，正確率才提升不到1倍），其中Few Shot的表現(xiàn)是最好的。

而在封閉式的Trivia QA問答中，GPT-3的Few-Shot的表現(xiàn)已經(jīng)可以好過經(jīng)過Fine-tuned SOTA的成績。此外在SuperGLUE測試上面也能達到超過當前SOTA的表現(xiàn)，以及生成非常逼真的文章，甚至能達到人類難以分辨是機器還是人類協(xié)作的程度。

那么，在當前人們調(diào)用OpenAI開放的API接口之后，我們已經(jīng)可以看到GPT-3的一系列的有趣案例了。

GPT-3現(xiàn)在能夠出色地完成翻譯、問答和完形填空任務，能夠很好執(zhí)行兩位、三位的數(shù)學加減運算。還可以基于文本的描述生成代碼、網(wǎng)站。

（GPT-3將自然語言生成了代碼和圖形按鈕）

可以為文本轉換不同文體樣式，比如把口語化變?yōu)闀嬲Z，把日常語言變?yōu)榉晌臅?。或者把繁榮的法律語言變成日常語言，比如那些長長的“用戶協(xié)議”。

（GPT-3將日常語言轉換為法律文書）

當然，GPT-3的主業(yè)更在于生成文本內(nèi)容，比如段子、新聞、小說，甚至給出主題和關鍵詞，都可以有模有樣地編出一篇完整的論文。

（僅給出標題和開頭，GPT-3就完成了論文）

在和人類的多輪對話中，GPT-3表現(xiàn)也相當出色。比如下面這個名為Kosmopol的程序員和GPT-3展開了一段關于人類、AI與神的存在關系的“神秘”討論。

（聊到最后程序員表示，“我現(xiàn)在已經(jīng)沒有任何疑問”）

從現(xiàn)在網(wǎng)絡上所發(fā)布出來的GPT-3的各項表現(xiàn)來看，GPT-3似乎在任何文本生成相關的領域都能發(fā)揮作用了。

那么GPT-3在商業(yè)化方面的前途如何呢？

GPT-3有哪些商業(yè)化前景？

我們記得，在GPT-2發(fā)布時，OpenAI還不愿意一下子把GPT2的模型完整地放出來，而是選擇擠牙膏似的一點點公布完整版本，當時的理由是認為GPT-2太過危險，會被人用來制造假新聞，用來做郵件詐騙等壞事。當然，可怕的后果并沒有發(fā)生，也許是壞人的技術能力不夠，更主要可能是應用的成本門檻太高。

這一次，OpenAI選擇了發(fā)布API接口邀請測試，而非直接開源模型的方式，同樣也有這方面的考慮。如果模型開源，一旦有人在此基礎上開發(fā)帶有危險性的應用程序，官方將很難制止。通過API方式就可以很好應對人們對技術的濫用。

與此同時，由于GPT-3如此龐大體量的基礎模型，除了少數(shù)大公司之外，很少有機構和個人能夠對其進行開發(fā)和部署，運行費用也將極其昂貴。

其實更重要一點則是，OpenAI希望通過API方式來推動GPT-3的技術商業(yè)化，未來在安全可靠、政策合規(guī)的基礎上進行相關AI產(chǎn)品的開發(fā)，并實現(xiàn)商業(yè)化的盈利。

據(jù)目前OpenAI透露，在提供API之前，就已經(jīng)與十幾家公司展開了初步的商用測試。具體開放功能話，GPT-3可以在語義搜索、聊天機器人、生產(chǎn)力工具、文本生成、內(nèi)容理解、機器翻譯等方面進行商業(yè)化應用。

比如，一家初創(chuàng)搜索公司Algolia正在使用GPT-3來進行自然語言的復雜搜索，具體表現(xiàn)在能夠將預測時間縮短到100毫秒左右，并以比BERT快4倍的速度準確地回答復雜的自然語言問題。

在生產(chǎn)力工具方面，GPT-3的API可以提供更多元化的功能，比如將文本分解為圖表、表格、電子郵件匯總，可以從項目要點進行內(nèi)容擴展。對于編程工作來說，程序員可以通過自然語言來與計算機進行對話，不必記住各種復雜命令，也能獲得自己想要的基礎代碼。

此外，像在文檔寫作中的拼寫建議、語法糾錯，以及像法律機構、律所相關工作中的判例索引，法律研究，模式化的訴訟申請撰寫，教育教學機構的教學材料輔助查找和示例，在線客服的聊天機器人等方面，都可以實現(xiàn)商業(yè)化應用。

這樣一看，好像GPT-3的橫空出世，不僅是讓媒體編輯（不久前微軟就開掉了一批人工編輯）直接遭遇職業(yè)危機，甚至看來很多機構的基礎文員、在線客服，甚至程序員也有下崗再就業(yè)的危險了？

不過，從目前GPT-3所公開展示的示例來看，這種擔憂還是有些大可不必。直接來講，GPT-3作為企業(yè)的生產(chǎn)力工具，更多會起到輔助性提升效率工具的作用。在任何需要進行文本的生成、資料檢索和需要啟發(fā)性的內(nèi)容生產(chǎn)方面，都可以使用GPT-3來作為輔助工具。

比如，作家可以使用關鍵詞來獲得GPT-3提供的創(chuàng)意思路，來獲取靈感。公司職員和機構的文員可以用會議紀要來生成相應專業(yè)性的報告、郵件和專業(yè)文書。

在這一過程中，我們不可能說完全去掉人類的審查和訂正就直接使用和發(fā)布。顯然，無論哪個機構或個人都不會讓AI模型來承擔其發(fā)布內(nèi)容的責任。當然，當一些人能夠更好地與GPT-3這樣的人工智能工具進行高效協(xié)作，提升企業(yè)組織的生產(chǎn)效率，隨之而來的是企業(yè)對基礎職位人數(shù)需求的減少。從這個意義上，GPT-3作為職位大殺器的作用會間接顯現(xiàn)。

不過，現(xiàn)在的GPT-3已經(jīng)能堪當大任嗎？從一些開發(fā)者測試后的反饋和一些專家的評論來看，GPT-3距離真正的商業(yè)化還有一定的距離，其中一些問題必須要解決。

GPT-3的商業(yè)化難題

當外界對于GPT-3的能力表現(xiàn)發(fā)出更多贊譽的時候，OpenAI聯(lián)合創(chuàng)始人Sam Altman則在Twitter站出來表示，“GPT-3被吹捧得太過了”。

實際上，這一表態(tài)確實很實事求是。目前GPT-3在常識問答、事實性的文本生產(chǎn)問題上表現(xiàn)尚佳，但是一旦處在反事實的或者矛盾問題的問答上面，GPT-3就會表現(xiàn)出一種“不懂裝懂”的幼稚化傾向。

比如，在上面這些反事實提問或者無意義的語言重復下，GPT-3就開啟了“尬聊”模式。用紐約大學副教授Julian Togelius的話來說就是，“GPT-3常常表現(xiàn)的像一個沒有完成閱讀的聰明學生，在考試中胡言亂語試圖蒙混過關。一些眾所周知的事實，一些半真半假的事，還有一些直接的謊言，串在一起乍一看像是流暢的敘事?！?

GPT-3在一些輸出上也會犯一些帶有偏向性的低級錯誤。比如有人在通過GPT-3與虛擬的喬布斯談話中，在問到喬幫主現(xiàn)在身處何處，GPT-3給出的答案是“蘋果總部”，并且還報了地名。不過，大家都知道這個答案并不正確，回答說喬幫主現(xiàn)在活在我們心中，都比上面檢索來的答案更靠譜。

此外，OpenAI對GPT-3帶有偏見內(nèi)容的輸出上更為小心謹慎，因為GPT-2就有先例，在生成一篇文章中，就有冒犯黑人女性的歧視性描述。這可能源自于訓練數(shù)據(jù)中本身含有的各類歧視內(nèi)容。但如果考慮到在整理數(shù)據(jù)中剔除這些內(nèi)容，需要大量的人力成本，實際上既沒有操作性，也無必要性。最終只能在輸出端，對GPT-3的這類結果進行優(yōu)化改進。

這些低級的、誤導性、偏見性的錯誤，仍然會讓企業(yè)的商業(yè)應用顧慮重重。如果一旦全權交給AI來行使工作溝通、客服等工作，難免會造成企業(yè)的利益損失，或者增加諸如審核之類的經(jīng)營成本。

GPT-3商業(yè)化更重要的一個難關是在性價比上面。如果GPT-3可以實現(xiàn)的一些自動化文本生成任務可以由更便宜、但專業(yè)性更好的AI軟件也可以辦到，那么GPT-3的商業(yè)價值將大打折扣。也就是，如果人們嘗試用GPT-3來替代谷歌的關鍵詞搜索，但總是無法得到更全面的信息，那人們?yōu)楹尾挥没孛赓M的谷歌和維基百科呢？

雖然GPT-3在通用性上面的能力表現(xiàn)出“大力出奇跡”的良好特性，但其如何能夠更有效地發(fā)揮商業(yè)價值，OPenAI還任重道遠，這需要在此后的模型優(yōu)化中“慢工出細活”。

現(xiàn)在，在接受微軟的10億美元的投資之后，OpenAI的商業(yè)化進程已經(jīng)提升比較急迫的日程了。依托巨大算力資源才能跑起來的AI模型必須推進商業(yè)化的腳步。

所以，GPT-3首當其沖。

總體來說，GPT-3的商業(yè)化開放有著非常積極的意義。由于這樣巨型的模型訓練是一般小企業(yè)和個人用戶根本無力承擔的，那么API的開放可以使得這些用戶用比較少的成本付費使用AI的功能。不過從另一個角度來看，AI領域的科研壟斷也正在形成。當年在操作系統(tǒng)、搜索引擎等領域形成壟斷的巨頭，如今又通過算力霸權占據(jù)了AI領域的數(shù)據(jù)富礦的基礎開采權。

我們看到，GPT-3一開始的商業(yè)化過程并不會那么順利。但是這樣的基礎性工程，無論本身的結果如何，其在完成項目的過程中，OpenAI所取得的技術經(jīng)驗和技術能力，其實是更重要的一筆財富。關鍵是GPT-3仍然是目前AI正確的前進方向。

當年，美國在阿波羅登月計劃的時候，也耗費了無數(shù)的人力和財富，其結果不過是在與當時蘇聯(lián)的“星球大戰(zhàn)”中贏得一個頭籌而已。不過這些浩大工程的一些副產(chǎn)品，諸如空間通信、材料科學、自動控制、集成電路、計算機科學方面，至今讓美國的科技和商業(yè)受益匪淺。

生成海報

免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。