本論文では、連邦学習における一般化誤差の上限を導出した。
まず、1ラウンドの連邦学習における一般化誤差の上限を示した。この上限は既存研究よりも tight である。さらに、R ラウンドの連邦学習における一般化誤差の上限も、非iid環境下で初めて導出した。
この一般化誤差の上限分析と表現学習の解釈に基づき、特に非iid環境下で、表現抽出器の集約頻度を減らすことで、より汎化性の高いモデルを作成できることを示した。
この洞察に基づき、FedALS アルゴリズムを提案した。FedALS は、ディープラーニングモデルの初期層に対してより多くの局所ステップを行い、最終層に対してより頻繁な集約を行うというものである。
実験結果から、FedALS は非iid環境下で顕著な性能向上を示し、通信コストも削減できることが確認された。一方、iid環境下では、FedALS の効果は限定的であった。これは、iid環境下では一般化誤差の上限が
1
K2 の因子で改善されるのに対し、非iid環境下ではそうでないためである。
他の言語に翻訳
原文コンテンツから
arxiv.org
深掘り質問