分散型機械学習通信の最適化 - 融合計算-集合演算を用いて

GPUの大規模並列性と GPU主導の通信を活用して、依存する集合通信と計算を融合することで、通信の潜在時間を隠蔽し、ピークネットワーク帯域幅の需要を削減する。