大規模並列トレーニングを数千のGPUにスケールアップするための4D ハイブリッドアルゴリズム

大規模な通信コストは分散システムでの最先端のニューラルネットワークのトレーニングにとって重要なボトルネックである。本論文では、AxoNNと呼ばれる新しい4次元(4D)並列化アプローチを提案し、深層学習における演算の並列化を行う。AxoNNは通信オーバーヘッドを最小限に抑えるための2つの主要な戦略を採用している。