Core Concepts
クライアントのデータ分布の多様性を考慮することで、連邦学習の収束速度を改善する。
Abstract
本論文では、連邦学習における課題の1つである統計的異質性に着目し、クライアントのデータ分布の多様性を活用する手法を提案している。
具体的には以下の通り:
クライアントのデータラベルの分散を多様性の指標として定義する。
データ分散をアップロードすると個人情報の漏洩につながるため、代替指標として「projection」を提案し、これを用いて重み付き平均とクライアント選択を行う。
WeiAvgCSアルゴリズムを提案し、FashionMNISTとCIFAR10データセットで実験を行った結果、従来手法に比べて収束速度が大幅に改善されることを示した。
WeiAvgCSはFedProx、MOON、Scaffoldなどの手法と組み合わせることで、さらなる性能向上が可能であることも確認した。
Stats
提案手法WeiAvgCSは、FashionMNISTで平均46%、CIFAR10で平均38%、従来手法よりも高速に収束した。
データ分布の偏りが小さい(p=0)場合でも、WeiAvgCSは従来手法に比べて優れた性能を示した。
Quotes
"クライアントのデータラベルの多様性は、連邦学習の全体的なモデル性能に影響を及ぼす重要な要素である。"
"データ分散の共有は個人情報の漏洩につながる可能性があるため、代替指標として「projection」を提案した。"
"WeiAvgCSは他の手法(FedProx、MOON、Scaffold)と組み合わせることで、さらなる性能向上が可能である。"