大規模分散深層学習における通信効率的なモデル同期

大規模分散深層学習では、モデル同期のための通信が性能のボトルネックとなるため、通信効率的なアルゴリズムが重要である。様々な分散SGDアルゴリズムの変種が提案されており、同期性、非同期性、遅延同期、局所SGDなどの手法が検討されている。また、連邦学習の文脈でも、ヘテロジニアスな環境下でのモデル同期の課題が議論されている。