Khái niệm cốt lõi
無線ネットワーク上のフェデレーティッド学習において、システムの異質性と統計的な異質性の両方に対処するための最適なクライアントサンプリング手法を提案する。
Tóm tắt
本論文では、無線ネットワーク上のフェデレーティッド学習(FL)において、システムの異質性(クライアントの計算・通信能力の差異)と統計的な異質性(クライアントのデータ分布の偏りや非i.i.d.性)の両方に対処するための最適なクライアントサンプリング手法を提案している。
まず、任意のクライアントサンプリング確率に対する新しい収束解析を行い、収束時間とサンプリング確率の関係を明らかにする。その上で、収束時間を最小化する最適なクライアントサンプリング問題を定式化し、未知パラメータの推定と非凸最適化アルゴリズムを開発する。
提案手法は、システムの異質性とデータの異質性がクライアントサンプリングに与える影響を明らかにし、サンプリング数が増えるにつれ収束時間が減少した後に増加するという興味深い洞察を示す。
ハードウェアプロトタイプと数値実験の結果から、提案手法が従来手法に比べて大幅に収束時間を短縮できることが示された。例えば、EMNISTデータセットでは、提案手法がベースラインの一様サンプリングに比べて71%の時間短縮を達成した。
Thống kê
クライアントiの計算時間をτi、通信時間をtiとする。
クライアントiの最大勾配ノルムをGiとする。
クライアントiのデータサイズ重みをpiとする。