Core Concepts
新しい階層型フェデレーテッドラーニングアルゴリズムの提案と、統計的異質性への対処を目指す。
Abstract
この論文では、量子化を用いて通信効率を向上させ、統計的異質性に対処するための新しい2段階のフェデレーテッドラーニングアルゴリズムが提案されています。従来の階層型フェデレーテッドラーニングアルゴリズムと比較して、本手法は高い学習精度を達成し、特に異種データ分布のシナリオで優れたパフォーマンスを発揮します。さらに、収束率分析が行われ、最適化問題が解かれることでアルゴリズムの効率が向上しています。
Stats
F(wt+1) − F(wt) ≤ ∇F(wt)⊤ (wt+1 − wt) + L/2 ∥wt+1 − wt∥^2.
E {F(wt+1) − F(wt)} ≤ E {∇F(wt)⊤ (wt+1 − wt)} + L/2 E {∥wt+1 − wt∥^2}.
E {∇F(wt)⊤ (wt+1 − wt)} = - µ/N Σl Σn [E {∇F(wt)⊤gl_i,t} - µ/N Σl Σn [E {∇F(wt)⊤∇Fl_n(wl_n,i,t)}.
τ + γ = Td/(TtCP - tDE/tCP τ - tEC/tCP), γ = Td/(TtCP - (1 + tDE/tCP)τ - tEC/tCP).
Quotes
"Efficient FL needs to cope with several challenges such as non-i.i.d. or heterogeneous data distribution."
"The experimental results demonstrate the significant superiority of QHetFed over its conventional hierarchical counterpart under heterogeneous data distributions."