Основные понятия
メモリ制限下の異種連合学習のために、モデルを段階的に訓練する新しい手法ProFLを提案する。ProFLは、モデルを複数のブロックに分割し、各ブロックを順次訓練することで、メモリ使用量を大幅に削減できる。また、各ブロックの収束状況を正確に評価する新しい指標を導入し、適切なタイミングでブロックの凍結と次のブロックの訓練を行う。
Аннотация
本論文は、メモリ制限下の異種連合学習(Federated Learning)のための新しい手法ProFLを提案している。
ProFLの主な特徴は以下の通り:
-
モデルを複数のブロックに分割し、各ブロックを順次訓練する漸進的トレーニングを行う。これにより、メモリ使用量を大幅に削減できる。
-
各ブロックの訓練進捗を正確に評価するための新しい指標「Effective Movement」を提案する。この指標を用いて、適切なタイミングでブロックの凍結と次のブロックの訓練を行う。
-
漸進的モデル縮小と漸進的モデル拡大の2段階のトレーニングプロセスを設計することで、各ブロックの特徴表現を適切に学習できるようにする。
-
理論的な収束性の証明と、代表的なモデルやデータセットを用いた実験により、ProFLの有効性を示している。実験結果では、ピークメモリ使用量を最大57.4%削減し、モデル精度を最大82.4%向上させることができた。
Статистика
訓練時のピークメモリ使用量を最大57.4%削減できる
モデル精度を最大82.4%向上させることができる
Цитаты
"ProFL divides the model into different blocks based on its original architecture. Instead of updating the full model in each training round, ProFL first trains the front blocks and safely freezes them after convergence. Training of the next block is then triggered."
"To accurately evaluate the training progress of each block, we delve into the scalar perspective and introduce a novel metric named effective movement."