Core Concepts
デバイスの異質性と限られたリソースを考慮し、分散型連合学習の損失関数を最小化するために、各デバイスの局所学習回数を最適化する。さらに、エネルギー消費を最小化するための集約スキームを提案する。
Abstract
本論文では、デバイスの異質性と限られたリソースを考慮した分散型連合学習(DFL)の効率的な利用方法を提案している。
まず、DFLの収束解析を行い、局所学習回数がDFLの性能に与える影響を明らかにした。この収束解析に基づき、DFLの損失関数を最小化するための最適な局所学習回数を各デバイスで決定する問題を定式化した。
次に、この問題を解くために、局所学習回数の最適化と集約時のエネルギー消費削減の2つの部分問題に分割した。局所学習回数の最適化では、デバイスの制約条件を考慮しつつ、損失関数の上界を最小化する解を導出した。一方、集約時のエネルギー消費削減では、チャネル情報が既知かどうかに応じて、最小全域木アルゴリズムやリングAllReduceアルゴリズムを適用することで、エネルギー効率の高い集約スキームを提案した。
最終的に、提案手法では、各デバイスの最適な局所学習回数と省エネルギーな集約スキームを組み合わせたDFLフレームワークを実現している。シミュレーション結果より、提案手法は従来手法に比べて優れたパフォーマンスと低いエネルギー消費を達成できることが示された。
Stats
デバイスiの1回の局所学習の計算遅延は Li,cp = CiDif −1
i 。
デバイスiとjの通信遅延は Lij,cm = s
B log2(1 + pthij/BN0)。
デバイスiの総エネルギー消費は Ei,total = PT
t=1(τi,tEi,cp + Ki,tP(i,j)∈Et Eij,cm)。
Quotes
"デバイスの異質性を考慮し、限られたリソースを有効活用してDFLのモデル性能を向上させることが重要である。"
"DFLの収束解析に基づき、局所学習回数がDFLの性能に与える影響を明らかにした。"
"提案手法では、各デバイスの最適な局所学習回数と省エネルギーな集約スキームを組み合わせたDFLフレームワークを実現している。"