安全地遺忘有害知識：一種防禦大型語言模型越獄攻擊的驚人有效且通用的解決方案

핵심 개념

直接從大型語言模型中移除有害知識（安全地遺忘）比主流的基於監督式微調的安全防禦方法更有效地防禦越獄攻擊，因為它可以推廣到未見過的攻擊提示和有害問題。

초록

論文概述
本論文提出了一種名為「安全地遺忘」的新方法，用於防禦針對大型語言模型（LLM）的越獄攻擊。該方法的核心思想是直接從模型中移除有害知識，而不是像傳統方法那樣僅僅訓練模型識別和拒絕有害查詢。
研究背景
大型語言模型（LLM）在各種應用中取得了顯著的成功，但也引發了人們對其安全性的擔憂。越獄攻擊是一種利用精心設計的提示來誘導 LLM 產生有害響應的攻擊方式。現有的安全防禦方法，主要是基於監督式微調（SFT），在應對越獄攻擊方面效果有限，因為攻擊者可以不斷改變提示來繞過防禦。
研究方法
「安全地遺忘」方法採用了三種互補的目標來實現安全防禦：

遺忘有害響應： 通過最小化模型生成有害響應的概率來實現。
學習安全響應： 通過最大化模型拒絕有害查詢的概率來實現。
維持一般性能： 通過在無害查詢上保持模型的一般性能來實現。

為了實現這些目標，該方法使用了三個損失函數：遺忘損失、安全損失和一般損失。遺忘損失用於降低模型生成有害響應的概率，安全損失用於訓練模型生成安全的拒絕響應，而一般損失則用於確保模型在無害查詢上的性能不受影響。
實驗結果
實驗結果表明，「安全地遺忘」方法在防禦越獄攻擊方面非常有效。即使在訓練過程中沒有使用任何越獄提示，該方法也能將攻擊成功率（ASR）降低到接近於零。此外，該方法還表現出很強的泛化能力，能夠成功防禦未見過的攻擊提示和有害問題。
分析
論文分析了「安全地遺忘」方法有效性的原因，認為這主要歸功於以下兩個因素：

有害響應的內在相關性： 儘管不同的越獄查詢可能存在很大差異，但它們對應的有害響應通常非常相似。
模型對有害響應的聚類表示： LLM 會將不同的有害響應聚類到相似的表示空間中，這使得遺忘少數有害響應就能有效地遺忘許多未見過的有害表達。

結論
「安全地遺忘」方法為防禦越獄攻擊提供了一種有前景的解決方案。該方法直接從模型中移除有害知識，而不是僅僅訓練模型識別和拒絕有害查詢，從而實現了更有效的防禦。實驗結果證明了該方法的有效性和泛化能力。

통계

使用僅 20 個原始有害問題進行訓練，安全地遺忘方法將 Vicuna-7B 在未見過的、包含各種複雜越獄提示的有害問題上的攻擊成功率 (ASR) 從 82.6% 降低到 7.7%。
相比之下，Llama2-7B-Chat 使用了約 0.1M 的安全對齊樣本進行微調，即使在額外安全系統提示的幫助下，其 ASR 仍為 21.9%。

핵심 통찰 요약

Safe Unlearning: A Surprisingly Effective and Generalizable Solution to Defend Against Jailbreak Attacks

by Zhexin Zhang... 게시일 arxiv.org 11-06-2024

https://arxiv.org/pdf/2407.02855.pdf

더 깊은 질문

除了移除有害知識外，還有哪些其他策略可以有效防禦針對大型語言模型的越獄攻擊？

除了移除有害知識（例如 Safe Unlearning），還有其他策略可以有效防禦針對大型語言模型的越獄攻擊：

輸入層面的防禦:

強化提示工程： 設計更強健的提示，例如加入安全警示或限制模型扮演特定角色，降低模型被誤導的可能性。
輸入過濾： 使用安全檢測器識別並過濾掉潛在的有害查詢，例如包含特定關鍵字或語義結構的查詢。
對抗訓練： 使用已知的越獄攻擊樣本對模型進行對抗訓練，使其更能抵抗此類攻擊。

模型層面的防禦：

目標優先級訓練： 在訓練過程中明確設定模型的目标优先级，例如將安全性置於其他目標（如流畅性）之上。
模型自評估與回溯： 訓練模型在生成回應後進行自我評估，若判斷為有害則進行回溯修改。
多模型集成與投票： 使用多個模型生成回應，並透過投票機制選擇最安全的回應。

輸出層面的防禦：

輸出審查： 在模型生成回應後，使用安全檢測器進行審查，過濾掉潛在的有害內容。
回應重構： 訓練模型學習如何將潛在有害的回應重構為更安全、中立的表達方式。

需要注意的是，沒有一種防禦策略是完美的，最佳的防禦策略通常是結合多種方法，構建多層次的防禦體系。

安全地遺忘方法是否會導致模型在處理與有害知識相關的良性查詢時出現問題？

是的，安全地遺忘方法有可能導致模型在處理與有害知識相關的良性查詢時出現問題。
儘管 Safe Unlearning 等方法在移除有害知識方面表現出色，但也存在潛在風險：

過度遺忘： 模型可能過度泛化遺忘的範圍，導致與有害知識相關的良性知識也被一併移除，影響模型在處理相關良性查詢時的表現。
知識偏差： 遺忘過程可能導致模型的知識結構出現偏差，例如對特定主題或概念產生偏見，影響其在相關領域的理解和生成能力。
為了減輕這些潛在問題，可以採取以下措施：

精準控制遺忘範圍： 在訓練過程中精準控制遺忘的目標，避免過度泛化到良性知識。
強化良性知識訓練： 在遺忘有害知識的同時，加強對相關良性知識的訓練，確保模型在相關領域的知識完整性。
持續監控和評估： 持續監控模型在處理良性查詢時的表現，以及時發現並修正潛在問題。
總之，安全地遺忘方法需要谨慎使用，並結合其他防禦策略和持續監控，才能在移除有害知識的同時，最大程度地保留模型的良性知識和功能。

如何在保護言論自由和防止大型語言模型被濫用之間取得平衡？

在保護言論自由和防止大型語言模型被濫用之間取得平衡是一個複雜且重要的議題，需要多方面的努力：

技術層面：

開發更精準的內容過濾技術： 區分有害內容和言論自由的界限，避免過度審查。
探索可解釋的人工智慧技術： 提高模型決策的透明度，讓使用者理解其生成內容的原因。
設計更安全的模型架構： 從模型設計的根源上降低其被濫用的風險。

社會層面：

制定相關法律法規： 規範大型語言模型的開發和使用，明確責任和義務。
加強公眾教育和倫理意識： 提高使用者對大型語言模型的認識，以及對其潛在風險的警覺性。
鼓勵多方參與和討論： 政府、企業、學術界和公眾共同參與，制定合理的規範和標準。

模型開發者和使用者的責任：

開發者應負起社會責任： 在模型設計和訓練過程中充分考慮倫理和安全問題。
使用者應理性使用模型： 不應利用模型生成或傳播有害信息，並對其生成的內容保持警惕。

總之，在保護言論自由和防止大型語言模型被濫用之間取得平衡需要技術、社會和倫理等多方面的共同努力，才能在促進技術發展的同時，避免其被濫用，創造一個更加安全和美好的未來。