本論文は、リソース制限のあるAIoTシステムにおいて、従来のフェデレーティッド学習(FL)では大規模なモデルを端末上で展開できないという問題に取り組んでいる。スプリットフェデレーティッド学習(SFL)は、モデルを2つの部分に分割し、一方を端末上で学習させることで、この問題を解決する。しかし、データの不均一性と遅延デバイスの問題により、SFLは低い推論精度と低い効率性に悩まされている。
本論文では、適応的なスライディングモデルスプリット戦略と、データバランスに基づいた学習メカニズムを採用した新しいSFLアプローチ、Sliding Split Federated Learning (S2FL)を提案する。
具体的には、S2FLは、デバイスの計算能力に応じて異なるモデル部分を動的に割り当てることで、デバイス間の学習時間を均一化し、ストラグラーによる低効率を緩和する。また、異なるデータ分布を持つデバイスからアップロードされた特徴量を組み合わせて、バックプロパゲーションのための均一な分布を持つ大きなバッチを生成することで、データ不均一性による性能劣化を軽減する。
実験結果から、従来のSFLと比較して、S2FLは最大16.5%の推論精度向上と3.54倍の学習高速化を達成できることが示された。
To Another Language
from source content
arxiv.org
Djupare frågor