マルチモーダルAIにおけるデータプライバシーの重要性が高まっています。本研究では、画像とテキストの共同トレーニングに差分プライバシーを組み込んだDP-CLIPアプローチを紹介しています。提案手法は、画像分類や画像キャプションなどの多様なビジョン・ランゲージタスクで効果的であり、標準的なCLIPモデルと同等のパフォーマンスを維持しながらデータ露出リスクを軽減します。理論的な分析では、DP-CLIPの収束率と線形表現設定下でのプライバシーと効用のトレードオフを示しています。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Alyssa Huang... at arxiv.org 03-04-2024
https://arxiv.org/pdf/2306.08173.pdfDeeper Inquiries