版權(quán)陷阱技術(shù)可幫助創(chuàng)作者檢測(cè)其作品是否被AI模型擅自使用。
自生成式人工智能興起以來(lái)，內(nèi)容創(chuàng)作者一直認(rèn)為他們的作品未經(jīng)同意被用于AI模型訓(xùn)練。然而，直到現(xiàn)在，要確定具體文本是否被用作訓(xùn)練數(shù)據(jù)集仍然十分困難。
現(xiàn)在，他們有了一種新方法來(lái)證明這一點(diǎn)：由倫敦帝國(guó)理工學(xué)院團(tuán)隊(duì)開(kāi)發(fā)的“版權(quán)陷阱”。這些隱藏文本可以讓作家和出版商微妙地標(biāo)記他們的作品，以便以后檢測(cè)它們是否被用于AI模型中。這一理念類似于歷史上版權(quán)持有者使用的陷阱策略，比如在地圖上加入虛假位置或在字典中加入虛假詞語(yǔ)。
這些AI版權(quán)陷阱涉及AI領(lǐng)域的一個(gè)重大爭(zhēng)議。一些出版商和作家正對(duì)科技公司提起訴訟，聲稱他們的知識(shí)產(chǎn)權(quán)未經(jīng)許可被用作AI訓(xùn)練數(shù)據(jù)集。紐約時(shí)報(bào)對(duì)OpenAI的訴訟可能是這些案件中最引人注目的一起。
生成和檢測(cè)陷阱的代碼目前在GitHub上可用，但該團(tuán)隊(duì)還計(jì)劃構(gòu)建一個(gè)工具，讓人們可以自己生成和插入版權(quán)陷阱。
“在用于訓(xùn)練模型的內(nèi)容方面完全缺乏透明度，我們認(rèn)為這妨礙了在AI公司和內(nèi)容創(chuàng)作者之間找到平衡，”研究負(fù)責(zé)人、倫敦帝國(guó)理工學(xué)院應(yīng)用數(shù)學(xué)與計(jì)算機(jī)科學(xué)副教授Yves-Alexandre de Montjoye表示。這項(xiàng)研究在本周于維也納舉行的國(guó)際機(jī)器學(xué)習(xí)會(huì)議上發(fā)布。
為了創(chuàng)建這些陷阱，團(tuán)隊(duì)使用了一個(gè)詞語(yǔ)生成器生成了數(shù)千個(gè)合成句子。這些句子很長(zhǎng)且充滿無(wú)意義的詞語(yǔ)，看起來(lái)可能像這樣：“當(dāng)處于動(dòng)蕩時(shí)期……什么在銷售，更重要的是什么時(shí)候，這個(gè)列表告訴你誰(shuí)在周四晚上開(kāi)門，他們的常規(guī)銷售時(shí)間和其他鄰居的開(kāi)門時(shí)間。你仍然。”
團(tuán)隊(duì)生成了100個(gè)陷阱句子，然后隨機(jī)選擇一個(gè)多次注入到文本中，de Montjoye解釋說(shuō)。陷阱可以通過(guò)多種方式注入文本中，例如作為白色背景上的白色文字，或嵌入文章的源代碼中。這句話必須在文本中重復(fù)100到1000次。
為了檢測(cè)陷阱，他們將生成的100個(gè)合成句子輸入一個(gè)大型語(yǔ)言模型，看看它是否將它們標(biāo)記為新的。如果模型在其訓(xùn)練數(shù)據(jù)中見(jiàn)過(guò)一個(gè)陷阱句子，它會(huì)顯示較低的“驚訝度”(也稱為“困惑度”)得分。但如果模型對(duì)句子感到“驚訝”，則意味著它是第一次遇到它們，因此它們不是陷阱。
過(guò)去，研究人員曾建議利用語(yǔ)言模型記住其訓(xùn)練數(shù)據(jù)的事實(shí)來(lái)確定某些內(nèi)容是否出現(xiàn)在數(shù)據(jù)中。這種技術(shù)稱為“成員推斷攻擊”，在大型最先進(jìn)的模型中效果顯著，因?yàn)樗鼈冊(cè)谟?xùn)練過(guò)程中往往會(huì)記住大量數(shù)據(jù)。
相比之下，越來(lái)越受歡迎的小型模型可以在移動(dòng)設(shè)備上運(yùn)行，這些模型記住的數(shù)據(jù)較少，因此對(duì)成員推斷攻擊的敏感性較低，這使得確定它們是否在特定的版權(quán)文檔上進(jìn)行訓(xùn)練變得更困難，滑鐵盧大學(xué)計(jì)算機(jī)科學(xué)助理教授Gautam Kamath(未參與此研究)表示。
版權(quán)陷阱是一種即使在小型模型上也能進(jìn)行成員推斷攻擊的方法。團(tuán)隊(duì)將他們的陷阱注入到CroissantLLM的訓(xùn)練數(shù)據(jù)集中，這是一種由帝國(guó)理工團(tuán)隊(duì)合作的一組行業(yè)和學(xué)術(shù)研究人員從頭訓(xùn)練的新型法語(yǔ)-英語(yǔ)雙語(yǔ)語(yǔ)言模型。CroissantLLM有13億參數(shù)，相比之下，最先進(jìn)的模型(如據(jù)報(bào)道的GPT-4)有1.76萬(wàn)億參數(shù)。
Kamath表示，這項(xiàng)研究表明，確實(shí)可以將這種陷阱引入文本數(shù)據(jù)中，從而顯著提高成員推斷攻擊的效率，即使是針對(duì)小型模型。但他補(bǔ)充說(shuō)，還有很多工作要做。
在文檔中重復(fù)一個(gè)75字的短語(yǔ)1000次是對(duì)原始文本的重大修改，這可能會(huì)讓訓(xùn)練AI模型的人檢測(cè)到陷阱并跳過(guò)包含它的內(nèi)容，或者只是刪除它并訓(xùn)練其余文本，Kamath說(shuō)。這也使得原始文本難以閱讀。
加州大學(xué)歐文分校計(jì)算機(jī)科學(xué)教授、Spiffy AI初創(chuàng)公司聯(lián)合創(chuàng)始人Sameer Singh(未參與此研究)表示，這使得版權(quán)陷阱在目前不太實(shí)用?！昂芏喙緯?huì)進(jìn)行去重處理，清理數(shù)據(jù)，大量這類東西可能會(huì)被清理掉，”Singh說(shuō)。
Kamath表示，改進(jìn)版權(quán)陷阱的一種方法是找到其他標(biāo)記版權(quán)內(nèi)容的方法，以便成員推斷攻擊在它們上面更有效，或者改進(jìn)成員推斷攻擊本身。
De Montjoye承認(rèn)，這些陷阱并非萬(wàn)無(wú)一失。他說(shuō)，一個(gè)知道陷阱的有動(dòng)機(jī)的攻擊者可以移除它們。
“是否能移除所有的陷阱還是一個(gè)懸而未決的問(wèn)題，這可能會(huì)是一場(chǎng)貓捉老鼠的游戲，”他說(shuō)。但即便如此，應(yīng)用的陷阱越多，移除所有陷阱就越困難，而不需要大量的工程資源。
“需要記住的是，版權(quán)陷阱可能只是一個(gè)權(quán)宜之計(jì)，或者對(duì)模型訓(xùn)練者來(lái)說(shuō)僅僅是個(gè)不便，”Kamath說(shuō)?！鞍l(fā)布一份包含陷阱的內(nèi)容并不能保證它永遠(yuǎn)是一個(gè)有效的陷阱?！?/p>
本文譯自 MIT Technology Review，由 BALI 編輯發(fā)布。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
