本論文は、機械学習モデルからデータを忘却する「アンラーニング」の効率的な手法を提案している。
主な内容は以下の通り:
学習済みモデルと再学習モデルの差異を、各データサンプルの影響を分析することで特徴付ける。具体的には、アフィン確率的再帰近似を用いて差異を近似的に表現する。
ヘシアン行列ベクトル積(HVP)を活用することで、高効率な計算を実現する。また、勾配クリッピングにより近似誤差を抑制する。
上記の近似手法に基づき、オンラインアンラーニングアルゴリズムを提案する。データ削除要求に対して、事前に計算・保存した統計量を用いて、高速にモデルを更新できる。
理論的な分析から、提案手法は既存手法に比べて、前計算時間、記憶容量、アンラーニング時間が大幅に削減できることを示す。
実験結果から、提案手法が既存手法を大幅に上回る性能を示すことを確認した。特に、非凸最適化問題においても優れた近似精度を達成できることが分かった。
To Another Language
from source content
arxiv.org
Głębsze pytania