低ランク表現を用いた通信効率的な分散学習手法 AB-Training

AB-Trainingは、重み行列を低ランク表現に分解し、独立したグループベースの学習を活用することで、通信オーバーヘッドを大幅に削減する新しい分散学習手法である。