メモリ制限下の異種連合学習のための漸進的トレーニングによるメモリ壁の突破

メモリ制限下の異種連合学習のために、モデルを段階的に訓練する新しい手法ProFLを提案する。ProFLは、モデルを複数のブロックに分割し、各ブロックを順次訓練することで、メモリ使用量を大幅に削減できる。また、各ブロックの収束状況を正確に評価する新しい指標を導入し、適切なタイミングでブロックの凍結と次のブロックの訓練を行う。