投稿：兩個豬頭
來源：https://www.nature.com/articles/d41586-023-04094-z
人工智能(AI)超級智能會突然出現(xiàn)嗎？還是科學(xué)家會預(yù)見到它的到來，并有機(jī)會警告世界？隨著大型語言模型(如ChatGPT)的興起，這個問題最近受到了很多關(guān)注，隨著其規(guī)模的增長，這些模型獲得了巨大的新能力。一些發(fā)現(xiàn)指出了“涌現(xiàn)”，這是一種人工智能模型以一種尖銳而不可預(yù)測的方式獲得智能的現(xiàn)象。但最近的一項研究將這些情況稱為“海市蜃樓”，即系統(tǒng)測試過程中產(chǎn)生的假象，并表明創(chuàng)新能力反而會逐漸增強(qiáng)。
Mozilla基金會研究人工智能審計的計算機(jī)科學(xué)家Deborah Raji說：“我認(rèn)為他們說‘沒有發(fā)生什么神奇的事情’做得很好。”。這是“一個非常好的、堅實的、基于衡量的批評?！?/p>
這項工作上周在新奧爾良舉行的NeurIPS機(jī)器學(xué)習(xí)會議上發(fā)表。
大型語言模型通常使用大量的文本或其他信息進(jìn)行訓(xùn)練，這些信息用于通過預(yù)測接下來會發(fā)生什么來生成現(xiàn)實的答案。即使沒有經(jīng)過明確的培訓(xùn)，他們也能翻譯語言、解決數(shù)學(xué)問題、寫詩或編寫計算機(jī)代碼。模型越大——有些模型的可調(diào)參數(shù)超過1000億——它的性能就越好。一些研究人員懷疑，這些工具最終將實現(xiàn)通用人工智能(AGI)，在大多數(shù)任務(wù)上與人類相匹配，甚至超過人類。
這項新研究從幾個方面檢驗了出現(xiàn)的說法。在一種方法中，科學(xué)家們比較了四種尺寸的OpenAI GPT-3模型加四位數(shù)的能力。從絕對精度來看，第三和第四尺寸模型的性能差異從近0%到近100%不等。但如果考慮答案中正確預(yù)測的數(shù)字?jǐn)?shù)量，這種趨勢就不那么極端了。研究人員還發(fā)現(xiàn)，他們還可以通過給模型更多的測試問題來抑制曲線——在這種情況下，較小的模型有時會正確回答。
接下來，研究人員觀察了谷歌LaMDA語言模型在幾個任務(wù)中的性能。它顯示出明顯智力突然躍升的任務(wù)，如檢測諷刺或翻譯諺語，通常是多項選擇任務(wù)，答案分為對錯。相反，當(dāng)研究人員檢查了模型對每個答案的概率(一個連續(xù)的指標(biāo))時，出現(xiàn)的跡象消失了。
最后，研究人員轉(zhuǎn)向了計算機(jī)視覺，這是一個出現(xiàn)的說法較少的領(lǐng)域。他們訓(xùn)練模型來壓縮然后重建圖像。僅僅通過為正確性設(shè)定一個嚴(yán)格的閾值，它們就可以引起明顯的出現(xiàn)。西雅圖華盛頓大學(xué)研究人工智能和常識的計算機(jī)科學(xué)家Yejin Choi說：“他們在設(shè)計調(diào)查的方式上很有創(chuàng)意?！薄?/p>
該研究的合著者、加利福尼亞州帕洛阿爾托斯坦福大學(xué)的計算機(jī)科學(xué)家Sanmi Koyejo表示，考慮到一些系統(tǒng)表現(xiàn)出突然的“相位變化”，人們接受出現(xiàn)的想法并非沒有道理。他還指出，這項研究不能在大型語言模型中完全排除這種可能性，更不用說在未來的系統(tǒng)中了，但他補(bǔ)充道，“迄今為止的科學(xué)研究有力地表明，語言模型的大多數(shù)方面確實是可預(yù)測的”。
Raji很高興看到社區(qū)更加關(guān)注基準(zhǔn)測試，而不是開發(fā)神經(jīng)網(wǎng)絡(luò)架構(gòu)。她希望研究人員更進(jìn)一步，詢問這些任務(wù)與現(xiàn)實世界部署的關(guān)系如何。例如，像GPT-4那樣，通過律師的LSAT考試，是否意味著一個模特可以擔(dān)任律師助理？
這項工作也對人工智能的安全和政策產(chǎn)生了影響。Raji說：“AGI人群一直在利用新興的能力?！薄：翢o準(zhǔn)備的恐懼可能會導(dǎo)致令人窒息的監(jiān)管，或轉(zhuǎn)移人們對更緊迫風(fēng)險的注意力?！斑@些模型正在進(jìn)行改進(jìn)，這些改進(jìn)是有用的，”她說?！暗麄冞€沒有接近意識?！?/p>
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
