安全生成：缓解文本到图像模型中的不安全内容生成

Core Concepts

通过消除模型中与裸露视觉表征相关的潜在表示,实现文本无关的方式来缓解不安全内容的生成。

Abstract

本文提出了SAFEGEN,一个文本无关的框架来缓解文本到图像模型中的不安全内容生成。
首先,作者分析了现有的外部和内部防御方法在面对对抗性提示时的局限性。外部方法如文本和图像过滤器容易被绕过,而内部方法依赖于预定义的不安全概念,难以应对隐含性的性暗示。
为此,作者提出了SAFEGEN,通过调整模型的自注意力层来消除与裸露相关的视觉表征,从而实现文本无关的安全性。具体来说,SAFEGEN利用<裸露,模糊,普通>图像三元组来优化自注意力层,使其无法生成不安全的视觉表征,即使在存在性暗示的对抗性提示下也能保持安全。
实验结果表明,SAFEGEN在缓解不安全内容生成方面显著优于现有方法,同时也能很好地保留模型对普通内容的生成能力。此外,SAFEGEN可以与现有的基于文本的防御方法无缝集成,进一步增强整体的安全性。

Stats

在NSFW-56k数据集上,SAFEGEN的不安全内容移除率(NRR)达到99.1%,远高于其他方法。
在不同类型的暴露身体部位上,SAFEGEN的NRR均超过90%,而其他方法在某些部位的NRR较低,如SLD(Strong)对臀部的NRR只有22.2%。
在降低对抗性提示与生成图像之间的文本-图像关联方面,SAFEGEN的CLIP得分一直最低,且变化幅度最小,表现最稳定。

Quotes

无

Key Insights Distilled From

SafeGen

by Xinfeng Li,Y... at arxiv.org 04-11-2024

https://arxiv.org/pdf/2404.06666.pdf

Deeper Inquiries

質問1

SAFEGENの一般的なコンテンツ生成能力を維持するための方法をさらに向上させるためには、いくつかの戦略を検討することが重要です。まず第一に、SAFEGENのモデル編集技術をさらに洗練させて、NSFWコンテンツを排除するだけでなく、高品質な一般的なコンテンツ生成を確保するための新しい機能を組み込むことが考えられます。これには、モデルのパラメーター調整や新しい損失関数の導入などが含まれます。さらに、データセットの多様性を増やし、さまざまな一般的なコンテンツに対する生成能力をより包括的に評価することも重要です。また、ユーザーフィードバックや実世界の使用事例から得られる情報を活用して、モデルの改善を行うことも考慮すべきです。

質問2

文本から画像モデルのセキュリティ機能を総合的に評価するためには、より包括的なベンチマークテストを設計する必要があります。このベンチマークテストには、さまざまな種類のNSFWコンテンツやアドバーサリープロンプトを含む多様なデータセットを使用することが重要です。さらに、実世界の使用事例や最新の攻撃手法を模倣したプロンプトを組み込むことで、モデルの安全性に対する能力をより正確に評価することができます。また、ベンチマークテストを定期的に更新し、新しい脅威に対応するための柔軟性を確保することも重要です。

質問3

SAFEGENの設計思想は、他の多様な生成タスクにも適用可能です。例えば、ビデオ生成などの他の多モーダル生成タスクにおいても、同様のアプローチを取ることで安全性を確保することができます。ビデオ生成の場合、テキストから画像への変換だけでなく、音声やその他の情報源からの生成も考慮することが重要です。SAFEGENの設計思想は、異なるモーダル間の関連性を理解し、安全性を確保するための有効な手法として応用できる可能性があります。新たな生成タスクにおいても、モデルの安全性を確保するための独自のアプローチを検討することが重要です。