Core Concepts
Tensor Homomorphic Compression (THC) accelerates distributed deep learning by eliminating computational overheads and improving accuracy.
Abstract
深層学習の分散を加速するために、Tensor Homomorphic Compression(THC)は計算オーバーヘッドを排除し、精度を向上させます。この新しい双方向圧縮フレームワークは、直接圧縮された値の集約を可能にし、従来の計算オーバーヘッドを排除します。さらに、THCはインネットワーク集約(INA)と互換性があり、さらなる加速を実現します。評価では、代表的なビジョンと言語モデルのトレーニングで、INAを使用して1.40〜1.47倍高速に目標精度に到達し、ソフトウェアPSと比較して1.28〜1.33倍高速です。
Stats
トレーニング時間が目標精度に達するまでの加速率:1.40〜1.47倍
INAを使用した場合のトレーニングスループットの増加率:25%〜54%