Основні поняття
拡散モデルの出力にメモリゼーションが含まれることによる法的リスクを解決するため、メモリゼーションの主要な原因に対処する3つの特定のガイダンス手法を提案し、メモリゼーションを完全に排除しつつ、高品質な画像生成と良好なテキスト整合性を維持する。
Анотація
本研究では、拡散モデルの出力にメモリゼーションが含まれることによる法的リスクを解決するため、Anti-Memorization Guidance (AMG)と呼ばれる新しい枠組みを提案している。
AMGは、メモリゼーションの主要な原因に対処する3つの特定のガイダンス手法から成る:
過度に具体的なユーザープロンプトによるメモリゼーションを抑える「Despecification Guidance」
重複したキャプションによるメモリゼーションを抑える「Caption Deduplication Guidance」
生成画像と学習データの類似性を低減する「Dissimilarity Guidance」
これらの手法を組み合わせることで、メモリゼーションを完全に排除しつつ、高品質な画像生成と良好なテキスト整合性を維持することができる。
また、AMGには自動的な類似性検出機能が備わっており、必要に応じてガイダンスを適用することで、オリジナルのサンプリングプロセスを最大限に保持しながら、プライバシーとユーティリティのバランスを最適化することができる。
実験の結果、AMGは既存の手法と比べて圧倒的にメモリゼーションを排除しつつ、画質とテキスト整合性を維持することが示された。さらに、無条件生成や クラス条件付き生成など、様々な生成タスクにおいても有効であることが確認された。
Статистика
生成画像の95パーセンタイルのSSCD類似度は0.41、最大値は0.47であり、メモリゼーションが完全に排除されている。
生成画像の95パーセンタイルのnL2類似度は1.61、最大値は1.68であり、メモリゼーションが完全に排除されている。
生成画像のFIDスコアは99.12、CLIPスコアは26.98であり、高品質かつテキスト整合性の高い画像が生成されている。