11月24日消息,國際網絡與信息安全領域頂會ACM CCS 2022于近日在洛杉磯召開,阿里達摩院聯合武漢大學、伍斯特理工學院、印第安納大學的研究成果獲最佳論文提名獎,該論文揭示了深度文本排序模型潛在的安全隱患,并探討了檢索系統的安全防御優(yōu)化策略。
ACM CCS與IEEE S&P、USENIX Security、NDSS被業(yè)界稱為網絡安全領域“四大頂級會議”, 至今已有近30年的歷史,該會議引領了國際信息安全領域研究的潮流。近年來,針對神經網絡模型的對抗攻擊成為業(yè)界研究的熱點,攻防研究成果也不斷涌現。
搜索引擎的魯棒性問題一直是業(yè)界研究的熱點,由于深度文本排序模型較易受到對抗攻擊的影響,即在圖像上的一些像素擾動或者文本中幾個字符的改變就可能會引發(fā)預測結果的極大變化,這種弱點可能被用來操縱排序結果,甚至引導觀點。攻防對抗的模擬是發(fā)現系統潛在風險并增強魯棒性的主要途徑之一,然而業(yè)界在該領域的攻防研究主要集中在圖像排序、文本分類和機器翻譯等模型上,面向深度文本排序模型的探索較少。
基于不同神經網絡之間對抗樣本的可遷移特性,達摩院在論文中提出通過采樣目標排序模型的結果列表,無需白盒訪問權限,即可訓練一個模仿排序模型來產生對抗攻擊文本,然后遷移到目標排序模型上驗證攻擊效果。通過大量的自動檢測和人工評測實驗證明,該方法能夠以黑盒方式有效實施攻擊。該論文研究成果可用于檢測、評價排序模型的魯棒性,并且為檢索系統的防御優(yōu)化策略提供重要參考價值。
該論文作者、達摩院高級算法專家康楊楊表示:“神經網絡模型魯棒性不足的問題由來已久,我們希望通過探索對抗攻擊方法來推動模型的改進。未來,團隊還將進一步探索完善的防御方法?!?/p>
據介紹,ACM CCS 2022共收到971篇有效投稿論文,最終218篇被收錄,共有15篇論文獲得最佳論文提名獎。本次大會,阿里巴巴共有3篇論文被收錄,是論文收錄數量最多的中國科技公司之一。
免責聲明:本網站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網站出現的信息,均僅供參考。本網站將盡力確保所提供信息的準確性及可靠性,但不保證有關資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網站對有關資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網站中的網頁或鏈接內容可能涉嫌侵犯其知識產權或存在不實內容時,應及時向本網站提出書面權利通知或不實情況說明,并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網站在收到上述法律文件后,將會依法盡快聯系相關文章源頭核實,溝通刪除相關內容或斷開相關鏈接。