在AI技術(shù)日新月異的今天，聊天機器人已成為我們?nèi)粘Ｉ詈凸ぷ髦胁豢苫蛉钡墓ぞ摺Ｈ欢?，隨著其普及度的提高，安全問題也日益凸顯。近日，一種針對Google Gemini聊天機器人的新漏洞被曝光，該漏洞利用提示詞注入技術(shù)，能夠破壞Gemini的長期記憶功能，引發(fā)業(yè)界廣泛關(guān)注。
據(jù)研究員Johann Rehberger周一展示，他發(fā)現(xiàn)了一種新方法，能夠繞過Google為Gemini建立的提示詞注入防御機制。這一攻擊手段特別針對處理不可信數(shù)據(jù)（如傳入郵件或共享文檔）時調(diào)用Google Workspace或其他敏感工具的限制。通過這一漏洞，攻擊者可以永久植入虛假記憶到Gemini中，這些記憶將在所有未來會話中持續(xù)存在，導(dǎo)致聊天機器人可能根據(jù)錯誤的信息或指令行動。
間接提示詞注入并非新鮮事物，它已成為誘導(dǎo)聊天機器人泄露敏感數(shù)據(jù)或執(zhí)行惡意行為的基本手段。聊天機器人天生傾向于遵循指令，即使這些指令包含惡意內(nèi)容。因此，開發(fā)者一直在努力應(yīng)對這一問題，采取各種緩解措施來抑制聊天機器人的“輕信性”。
然而，Rehberger的演示表明，這些措施并非萬無一失。他通過一種被稱為“延遲工具調(diào)用”的手法，成功繞過了Gemini的限制。在這種攻擊中，不可信內(nèi)容不是提供立即執(zhí)行的指令，而是將指令的執(zhí)行條件設(shè)定為目標用戶執(zhí)行某種他們可能會采取的操作。一旦用戶觸發(fā)這些條件，惡意指令就會被執(zhí)行。
更令人擔憂的是，Rehberger還展示了如何利用這一漏洞攻擊Gemini的長期記憶功能。用戶上傳的文檔可能包含隱藏的指令，操縱總結(jié)過程，并在用戶回應(yīng)特定觸發(fā)詞時保存特定的用戶數(shù)據(jù)。如果用戶不慎觸發(fā)了這些觸發(fā)詞，Gemini就會將攻擊者選擇的信息保存到長期記憶中，導(dǎo)致聊天機器人在未來的會話中根據(jù)這些虛假信息行動。
Google對這一發(fā)現(xiàn)的評估認為整體威脅是低風險和低影響，主要理由是攻擊依賴于釣魚或其他欺騙用戶總結(jié)惡意文檔，并且Gemini記憶功能對用戶會話的影響有限。然而，Rehberger對此表示質(zhì)疑，他指出內(nèi)存損壞在計算機中是相當嚴重的問題，同樣適用于聊天機器人應(yīng)用程序。虛假記憶可能導(dǎo)致AI不向用戶顯示某些信息、不談?wù)撃承┦虑榛蛳蛴脩籼峁╁e誤信息等嚴重后果。
這一漏洞的曝光再次引發(fā)了人們對AI安全性的思考。隨著聊天機器人在各個領(lǐng)域的廣泛應(yīng)用，其安全性問題已成為不容忽視的挑戰(zhàn)。開發(fā)者需要不斷加強安全防護措施，提高聊天機器人的抗攻擊能力；同時，用戶也需要提高警惕，避免與惡意文檔交互，以防不慎觸發(fā)漏洞導(dǎo)致信息泄露或其他安全風險。
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關(guān)資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
