本論文は、メモリ制限下の異種連合学習(Federated Learning)のための新しい手法ProFLを提案している。
ProFLの主な特徴は以下の通り:
モデルを複数のブロックに分割し、各ブロックを順次訓練する漸進的トレーニングを行う。これにより、メモリ使用量を大幅に削減できる。
各ブロックの訓練進捗を正確に評価するための新しい指標「Effective Movement」を提案する。この指標を用いて、適切なタイミングでブロックの凍結と次のブロックの訓練を行う。
漸進的モデル縮小と漸進的モデル拡大の2段階のトレーニングプロセスを設計することで、各ブロックの特徴表現を適切に学習できるようにする。
理論的な収束性の証明と、代表的なモデルやデータセットを用いた実験により、ProFLの有効性を示している。実験結果では、ピークメモリ使用量を最大57.4%削減し、モデル精度を最大82.4%向上させることができた。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Yebo Wu,Li L... at arxiv.org 04-23-2024
https://arxiv.org/pdf/2404.13349.pdfDeeper Inquiries