核心概念
連邦学習システムにおいて、サーバーは局所更新を利用して、クライアントが使用したトレーニングサンプルのラベルを正確に回復することができる。
要約
本論文は、連邦学習(FL)システムにおいて、サーバーがクライアントから受け取った局所更新を利用して、クライアントが使用したトレーニングサンプルのラベルを回復する新しい手法を提案している。
提案手法の主な特徴は以下の通りである:
- 局所更新と正解ラベルの相関関係を分析し、最小二乗問題を解くことで、ラベルを推定する。
- クライアントが複数エポックでモデルを更新する場合を考慮し、モデルパラメータの動的な変化を推定することで、ラベル回復精度を向上させる。
- 様々なFLアルゴリズム(FedAvg、FedProx、FedDyn等)や最適化手法(SGD、SGDm、NAG)に対応可能な一般的な手法を提案する。
- 4つのデータセット(SVHN、CIFAR10、CIFAR100、Tiny-ImageNet)、3つのモデル構造(LeNet-5、VGG-16、ResNet-50)、6つの活性化関数を用いた実験で、提案手法が既存手法を大幅に上回る性能を示す。
- ラベル回復精度の向上が、勾配逆転攻撃の画像再構成精度も向上させることを示す。
以上のように、提案手法は連邦学習における重要な課題であるプライバシー保護に貢献できる可能性がある。
統計
提案手法RLUは、単一エポックの局所トレーニングにおいて、クラスレベルの正解率(cAcc)とインスタンスレベルの正解率(iAcc)がいずれも100%を達成した。
10エポックの局所トレーニングにおいても、RLUはcAccが92.2%以上、iAccが90.4%以上を維持した。
一方、既存手法のiAccは、SVHN、CIFAR10、CIFAR100で最大75.6%、83.3%、72.6%にとどまった。
引用
"RLUは、様々なFLアルゴリズムや最適化手法、データ分布、モデル構造、活性化関数に対して、優れた頑健性を示した。"
"提案手法の精度向上により、勾配逆転攻撃の画像再構成精度も向上した。"