牛津大學(xué)的研究人員發(fā)現(xiàn)了一種簡(jiǎn)單的方法，可以判斷大型語(yǔ)言模型何時(shí)在編造內(nèi)容。
眾所周知，大型語(yǔ)言模型(LLM)在回答問(wèn)題時(shí)有時(shí)會(huì)給出明顯錯(cuò)誤的答案，而且這種錯(cuò)誤的自信與它們正確回答時(shí)的自信無(wú)異。這有多種原因。AI可能接受了錯(cuò)誤信息的訓(xùn)練；答案可能需要LLM無(wú)法推導(dǎo)的事實(shí)；或者LLM的某些訓(xùn)練環(huán)節(jié)可能促進(jìn)了錯(cuò)誤信息的產(chǎn)生。
但也許最簡(jiǎn)單的解釋是，LLM并不知道什么是正確答案，卻被迫提供一個(gè)答案。因此，它只是憑空捏造了一個(gè)答案，這種習(xí)慣被稱(chēng)為“編造”(confabulation)。
顯然，弄清楚LLM何時(shí)在編造答案非常重要，尤其是人們已經(jīng)開(kāi)始迅速依賴(lài)它們處理從大學(xué)論文到求職申請(qǐng)等各種事情?，F(xiàn)在，牛津大學(xué)的研究人員表示，他們發(fā)現(xiàn)了一種相對(duì)簡(jiǎn)單的方法，可以判斷LLM何時(shí)在編造內(nèi)容，這種方法適用于所有流行模型和廣泛的主題。在此過(guò)程中，他們還證明了LLM提供的大多數(shù)錯(cuò)誤信息都是編造的。
捕捉編造內(nèi)容
這項(xiàng)新研究嚴(yán)格關(guān)注編造內(nèi)容，而非訓(xùn)練時(shí)輸入錯(cuò)誤信息的情況。牛津團(tuán)隊(duì)在描述工作的論文中定義，編造內(nèi)容是指“LLM流利地做出錯(cuò)誤且任意的聲明——我們指的是答案對(duì)諸如隨機(jī)種子等無(wú)關(guān)細(xì)節(jié)很敏感?！?/p>
他們的研究背后的推理實(shí)際上非常簡(jiǎn)單。LLM并不是為了準(zhǔn)確性而訓(xùn)練的；它們只是接受了大量文本的訓(xùn)練，并通過(guò)這種訓(xùn)練學(xué)會(huì)了產(chǎn)生人類(lèi)語(yǔ)言風(fēng)格的措辭。如果在訓(xùn)練中，大量文本一致地將某事物呈現(xiàn)為事實(shí)，那么LLM很可能也會(huì)將其呈現(xiàn)為事實(shí)。但如果訓(xùn)練中的例子很少，或者事實(shí)不一致，那么LLM就會(huì)合成一個(gè)聽(tīng)起來(lái)似乎合理但可能錯(cuò)誤的答案。
LLM在有多個(gè)選項(xiàng)可以表達(dá)正確答案時(shí)，也會(huì)遇到類(lèi)似的情況。例如，研究人員的論文中提到，“巴黎”、“它在巴黎”和“法國(guó)首都巴黎”都是“埃菲爾鐵塔在哪里？”的有效答案。因此，在這種情況下，統(tǒng)計(jì)不確定性(在此稱(chēng)為熵)可能會(huì)出現(xiàn)，要么是LLM對(duì)如何表達(dá)正確答案不確定，要么是它無(wú)法識(shí)別正確答案。
這意味著強(qiáng)迫LLM在面對(duì)幾個(gè)大致相當(dāng)?shù)拇鸢笗r(shí)回答“我不知道”并不是一個(gè)好主意。這樣做可能會(huì)阻止許多正確答案的產(chǎn)生。
因此，研究人員專(zhuān)注于他們稱(chēng)之為語(yǔ)義熵的概念。這評(píng)估了LLM評(píng)估的所有統(tǒng)計(jì)上可能的答案，并確定其中有多少是語(yǔ)義上等價(jià)的。如果大量答案都具有相同的意義，那么LLM可能對(duì)措辭不確定，但答案是正確的。如果不是這樣，那么它可能處于容易編造答案的情況，此時(shí)應(yīng)阻止它這樣做。
提取意義
這在實(shí)際中是如何工作的？描述非常直白：
我們的方法通過(guò)對(duì)每個(gè)問(wèn)題采樣幾個(gè)可能的答案，并通過(guò)算法將它們聚類(lèi)成具有相似意義的答案來(lái)工作，我們判斷答案是否在同一個(gè)聚類(lèi)的依據(jù)是這些答案是否雙向蘊(yùn)涵對(duì)方。如果句子A蘊(yùn)涵句子B為真，反之亦然，那么我們認(rèn)為它們屬于同一個(gè)語(yǔ)義聚類(lèi)。
如果一個(gè)聚類(lèi)占主導(dǎo)地位，那么AI正在從一個(gè)具有相似事實(shí)內(nèi)容的選項(xiàng)集合中選擇答案。如果有多個(gè)聚類(lèi)，那么AI正在不同的事實(shí)內(nèi)容集合中選擇答案，這種情況下可能會(huì)導(dǎo)致編造內(nèi)容。
除了概念上的簡(jiǎn)單性，基于這些想法實(shí)施一個(gè)系統(tǒng)也很簡(jiǎn)單。大多數(shù)主要的LLM都會(huì)生成一組統(tǒng)計(jì)上可能的答案，這些答案是評(píng)估語(yǔ)義熵所需要的。已經(jīng)有LLM和稱(chēng)為自然語(yǔ)言推理工具的軟件，可以判斷兩個(gè)句子是否互相蘊(yùn)涵。而且，因?yàn)檫@些工具已經(jīng)存在，所以不需要監(jiān)督訓(xùn)練，這意味著系統(tǒng)不需要通過(guò)編造內(nèi)容的例子來(lái)學(xué)習(xí)確定一組潛在答案的語(yǔ)義熵。
研究人員開(kāi)發(fā)了一種度量，來(lái)確定用戶(hù)通過(guò)語(yǔ)義熵過(guò)濾器可以獲得的準(zhǔn)確性提升。他們將其與其他幾種錯(cuò)誤捕捉方法上進(jìn)行了測(cè)試，涵蓋了大量主題：包括瑣事和一般知識(shí)、生物學(xué)，以及一組Google搜索查詢(xún)。
在這些測(cè)試中，有兩個(gè)明顯的發(fā)現(xiàn)。首先，除了少數(shù)邊緣情況外，語(yǔ)義熵方法比其他方法捕捉到更多的錯(cuò)誤答案。其次，大多數(shù)LLM產(chǎn)生的錯(cuò)誤似乎都是編造內(nèi)容。這可以從以下事實(shí)推斷得出：一些其他方法捕捉了各種類(lèi)型的錯(cuò)誤，但它們的表現(xiàn)不如語(yǔ)義熵測(cè)試，即使這些測(cè)試只捕捉編造內(nèi)容。
超越簡(jiǎn)單事實(shí)
研究人員還展示了該系統(tǒng)可以適應(yīng)處理超過(guò)基本事實(shí)陳述的情況，例如傳記，這是一大堆個(gè)人事實(shí)。因此，他們開(kāi)發(fā)了一個(gè)軟件，將傳記信息分解成一系列個(gè)人事實(shí)陳述，并使用語(yǔ)義熵評(píng)估每個(gè)陳述。這在包含多達(dá)150個(gè)個(gè)人事實(shí)聲明的簡(jiǎn)短傳記中也有效。
總體而言，這似乎是一個(gè)高度靈活的系統(tǒng)，不需要進(jìn)行重大新開(kāi)發(fā)就可以投入實(shí)踐，并且可以顯著改善LLM的性能。由于它只捕捉編造內(nèi)容而非其他類(lèi)型的錯(cuò)誤，因此可能可以與其他方法結(jié)合使用，以進(jìn)一步提高性能。
正如研究人員所指出的那樣，這項(xiàng)工作還表明，在答案選項(xiàng)的統(tǒng)計(jì)數(shù)據(jù)中，LLM似乎擁有知道何時(shí)有正確答案所需的所有信息；只是這些信息沒(méi)有被充分利用。正如他們所說(shuō)，“語(yǔ)義熵在檢測(cè)錯(cuò)誤方面的成功表明，LLM在‘知道它們不知道什么’方面比之前認(rèn)為的更強(qiáng)，只是它們不知道自己知道什么?！?/p>
本文譯自 Ars Technica，由 BALI 編輯發(fā)布。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
