原論文地址：https://arxiv.org/abs/2401.11817
摘要
幻覺(jué)一直被認(rèn)為是大型語(yǔ)言模型 (LLM) 的一個(gè)重大缺陷。許多研究試圖減少幻覺(jué)的產(chǎn)生，但迄今為止這些努力大多是經(jīng)驗(yàn)性的，無(wú)法回答幻覺(jué)是否可以完全消除這一根本性問(wèn)題。該研究通過(guò)形式化方法證明 LLM 存在固有的幻覺(jué)問(wèn)題，即 LLM 不可能完全避免生成與真實(shí)世界不符的信息；并探討了現(xiàn)有緩解幻覺(jué)的方法及其有效性，并強(qiáng)調(diào)了對(duì) LLM 安全性進(jìn)行嚴(yán)格研究的重要性。
簡(jiǎn)介
大型語(yǔ)言模型 (LLM) 的出現(xiàn)標(biāo)志著人工智能領(lǐng)域，特別是自然語(yǔ)言處理領(lǐng)域的重要里程碑。這些模型擁有龐大的知識(shí)庫(kù)，能夠生成連貫且符合語(yǔ)境的相關(guān)文本，對(duì)研究、工業(yè)和社會(huì)產(chǎn)生了巨大影響。然而，LLM 面臨的一大挑戰(zhàn)是“幻覺(jué)”問(wèn)題，即模型生成看似合理但事實(shí)錯(cuò)誤或毫無(wú)意義的信息。隨著 LLM 應(yīng)用廣泛，這個(gè)問(wèn)題引起了人們?cè)絹?lái)越多的安全和倫理方面擔(dān)憂(yōu)，并催生了大量試圖對(duì)其進(jìn)行分類(lèi)、理解和緩解的研究。
先前研究從數(shù)據(jù)收集、訓(xùn)練到推理等方面發(fā)現(xiàn)了 LLM 產(chǎn)生幻覺(jué)的多種可能來(lái)源。例如，在綜述論文中，作者將自然語(yǔ)言生成中的幻覺(jué)歸因于啟發(fā)式數(shù)據(jù)收集、固有偏差、表示學(xué)習(xí)缺陷、錯(cuò)誤解碼、暴露偏差和參數(shù)知識(shí)偏差。
為緩解幻覺(jué)，人們提出了多種方法。例如，事實(shí)中心度量和基準(zhǔn)測(cè)試被用來(lái)衡量和減少特定數(shù)據(jù)集上的幻覺(jué)。檢索式方法通過(guò)知識(shí)圖或數(shù)據(jù)庫(kù)來(lái)增強(qiáng) LLM，幫助糾正模型輸出中的事實(shí)錯(cuò)誤。提示模型推理和驗(yàn)證其答案也被證明可以減少幻覺(jué)。
迄今為止，關(guān)于 LLM 幻覺(jué)的研究仍然主要是經(jīng)驗(yàn)性的。盡管經(jīng)驗(yàn)研究很有用，但它們無(wú)法回答一個(gè)根本性問(wèn)題：幻覺(jué)是否可以完全消除？這個(gè)問(wèn)題的答案至關(guān)重要，因?yàn)樗砻髁?LLM 能力的潛在上限。然而，由于不可能憑經(jīng)驗(yàn)枚舉和測(cè)試所有可能的輸入，因此如果不清晰地定義和形式化地分析幻覺(jué)，就無(wú)法正式討論這個(gè)問(wèn)題。
在現(xiàn)實(shí)世界中，形式化地定義 LLM 的事實(shí)或邏輯錯(cuò)誤(即幻覺(jué))極其困難。這是因?yàn)楝F(xiàn)實(shí)世界中語(yǔ)義的正式定義仍然是一個(gè)懸而未決的問(wèn)題。因此，在這項(xiàng)工作中，我們嚴(yán)格定義了一個(gè)由可計(jì)算函數(shù)組成的形式世界，可以在其中對(duì)幻覺(jué)進(jìn)行精確的討論。在這個(gè)世界里，每當(dāng) LLM 無(wú)法完全復(fù)制可計(jì)算函數(shù)的輸出時(shí)，就會(huì)發(fā)生幻覺(jué)。在此定義下，我們提出了一個(gè)基本結(jié)論：任何可計(jì)算的 LLM 都不可避免地會(huì)出現(xiàn)幻覺(jué)，這與模型架構(gòu)、學(xué)習(xí)算法、提示技術(shù)或訓(xùn)練數(shù)據(jù)無(wú)關(guān)。由于這個(gè)形式世界是現(xiàn)實(shí)世界的一部分，因此該結(jié)果也適用于現(xiàn)實(shí)世界中的 LLM。
基于理論結(jié)果，我們識(shí)別了一些現(xiàn)實(shí)世界中 LLM 可能出現(xiàn)幻覺(jué)的形式問(wèn)題，并通過(guò)實(shí)證驗(yàn)證了這一識(shí)別。理論和實(shí)證結(jié)果引導(dǎo)我們討論了它們對(duì)正確使用 LLM 的實(shí)際影響。
本文的貢獻(xiàn)總結(jié)如下：
* 我們形式化地定義和討論了 LLM 的幻覺(jué)，并利用學(xué)習(xí)理論的成果證明了幻覺(jué)對(duì)于 LLM 是不可避免的。
* 實(shí)證研究表明，最先進(jìn)的 LLM 在一些現(xiàn)實(shí)世界問(wèn)題中容易出現(xiàn)幻覺(jué)，這驗(yàn)證了理論結(jié)果。
* 我們討論了理論結(jié)果對(duì)設(shè)計(jì)緩解幻覺(jué)的方法和部署 LLM 在現(xiàn)實(shí)世界中的實(shí)際影響。
結(jié)論
本文研究了消除 LLM 幻覺(jué)的根本性問(wèn)題。為此，我們定義了一個(gè)形式世界，可以在其中清晰地定義和討論 LLM 的幻覺(jué)。具體而言，幻覺(jué)被定義為可計(jì)算 LLM 和可計(jì)算的真實(shí)函數(shù)之間的不一致。利用學(xué)習(xí)理論的結(jié)果，我們證明了如果真實(shí)函數(shù)是任何可計(jì)算函數(shù)，那么對(duì)于可計(jì)算的 LLM 來(lái)說(shuō)，幻覺(jué)是不可避免的。既然形式世界是現(xiàn)實(shí)世界的一部分，我們進(jìn)一步得出結(jié)論，在現(xiàn)實(shí)世界的 LLM 中消除幻覺(jué)也是不可能的。利用形式世界框架，我們討論了現(xiàn)有緩解幻覺(jué)方法的可能機(jī)制和有效性，并討論了理論結(jié)果對(duì) LLM 在現(xiàn)實(shí)世界中部署的實(shí)際影響。我們強(qiáng)調(diào)，由于幻覺(jué)不可避免，因此對(duì) LLM 安全性進(jìn)行嚴(yán)格研究至關(guān)重要。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
