Основные понятия
連邦学習におけるプライバシー損失を、単一の学習実行中に効率的に推定する新しい手法を提案する。
Аннотация
本論文では、連邦学習(FL)におけるプライバシー損失を効率的に推定する新しい手法を提案している。従来の手法は、中間モデルの情報や学習データの分布に関する強い仮定を必要としたり、何千回もの学習の再実行を必要としたりするなど、実用的な課題があった。
提案手法は、学習中に追加した「カナリア」クライアントの最終モデルとの角度cosineを利用して、プライバシー損失を1回の学習実行中に推定する。カナリアは高次元空間で互いにほぼ直交するため、最終モデルとの角度cosineの分布から、カナリアが学習に参加したかどうかを判別できる。この分布の比較から、プライバシー損失を推定することができる。
提案手法は、タスク、モデル、DPアルゴリズムに依存せず、単一の学習実行中に推定できるため、実用的な課題を解決できる。実験では、Stackoverflowの単語予測タスクやEMNISTの文字認識タスクで評価し、従来手法よりも正確な推定ができることを示している。また、クライアントの参加制限など、理論的な解析が困難な状況でも、プライバシー損失の変化を探索できることを示している。
Статистика
提案手法は、単一の学習実行中にプライバシー損失を推定できる。
提案手法は、タスク、モデル、DPアルゴリズムに依存せず、実用的に使える。
実験では、Stackoverflowの単語予測タスクやEMNISTの文字認識タスクで評価し、良好な結果を得た。
クライアントの参加制限など、理論的な解析が困難な状況でも、プライバシー損失の変化を探索できる。
Цитаты
"提案手法は、単一の学習実行中にプライバシー損失を推定できる。"
"提案手法は、タスク、モデル、DPアルゴリズムに依存せず、実用的に使える。"
"クライアントの参加制限など、理論的な解析が困難な状況でも、プライバシー損失の変化を探索できる。"