本論文では、ストキャスティック勾配ランジュバン忘却(Stochastic Gradient Langevin Unlearning)と呼ばれる近似的な忘却フレームワークを提案している。
主な内容は以下の通り:
凸性を仮定した下で、ノイズ付きのストキャスティック勾配降下法(PNSGD)に基づく忘却フレームワークを提案した。これは、プライバシー保証付きの近似的な忘却問題に対する最初のフレームワークである。
ミニバッチ勾配更新が、フルバッチ手法と比べてプライバシー-複雑度のトレードオフにおいて優れていることを示した。
提案手法には、再学習と比べて計算量が少ない、順次的および一括の忘却をサポートするといった多くの利点がある。
ベンチマークデータセットを用いた実験により、同等のユーティリティを維持しつつ、従来手法と比べて2%および10%の勾配計算しか必要としないことを示した。これは、ミニバッチ設定の有効性を実証している。
順次的および一括の忘却設定においても、提案手法の有効性を理論的に示した。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Eli Chien,Ha... at arxiv.org 03-27-2024
https://arxiv.org/pdf/2403.17105.pdfDeeper Inquiries