本論文は、連邦学習(FL)における重要な課題であるクライアントの脱落に対処するための新しいアルゴリズム「MimiC」を提案している。
まず、クラシックなFedAvgアルゴリズムの収束性を分析し、クライアントの脱落がモデルの収束を阻害することを示した。具体的には、クライアントの脱落により、各反復での更新が中央の更新から乖離し、最悪の場合は発散する可能性があることを明らかにした。
次に、MimiCアルゴリズムを提案した。MimiCでは、サーバーが各クライアントの更新を修正することで、中央の更新に近づけるようにする。具体的には、各クライアントの更新にサーバーが保持する補正変数を加えることで、中央の更新を模倣するようにする。
理論的な解析により、MimiCの収束性を示した。MimiCでは、クライアントの脱落による目的関数のずれが抑えられ、適切な学習率を選択すれば収束することを証明した。また、クライアントの脱落パターンが確率的な場合でも、高い確率で収束することを示した。
最後に、シミュレーション実験により、MimiCがクライアントの脱落に対して安定した収束性を示し、ベースラインよりも優れたモデル性能を達成することを確認した。
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Yuchang Sun,... a las arxiv.org 04-09-2024
https://arxiv.org/pdf/2306.12212.pdfConsultas más profundas