核心概念
トピックモデルにおけるプライバシー攻撃の重要性と、巧妙な攻撃手法に対する防御策の提案。
要約
最近の研究では、大規模言語モデルが訓練データの側面を推測するプライバシー攻撃に脆弱であることが示されています。しかし、より単純な生成モデルであるトピックモデルも同様の脆弱性を持つかどうかは不明です。本研究では、Latent Dirichlet Allocation(LDA)内で訓練データのメンバーを確実に特定できるトピックモデルへの攻撃を提案しています。私たちの結果は、生成モデリングに関連するプライバシーリスクが大規模ニューラルモデルに限定されていないことを示唆しています。さらに、これらの脆弱性を緩和するために差分プライバシー(DP)トピックモデリングを探求します。DP語彙選択を前処理ステップとして取り入れた私的トピックモデリングフレームワークを提案し、その結果、プライバシー向上と実用性への限定的影響があることを示します。
統計
論文番号: arXiv:2403.04451v1 [cs.CR] 7 Mar 2024
引用
"Probabilistic topic models like LDA serve as a basic Bayesian generative model for text."
"To explore the privacy in topic modeling, we conduct membership inference attacks (MIAs) which infer whether or not a specific document was used to train LDA."
"Our results suggest that the privacy risks associated with generative modeling are not restricted to large neural models."