アナログメモリ内アクセラレータ上でのパイプライン勾配ベースモデルトレーニング

大規模な深層学習モデルのトレーニングを高速化するために、アナログメモリ内コンピューティング（AIMC）アクセラレータは大きな可能性を秘めているが、データ並列処理に制約がある。本稿では、AIMCアクセラレータにおける同期および非同期パイプライン並列処理を提案し、その収束保証と高速化の可能性を示す。