Kernekoncepter
大規模な深層学習モデルのトレーニングを高速化するために、アナログメモリ内コンピューティング(AIMC)アクセラレータは大きな可能性を秘めているが、データ並列処理に制約がある。本稿では、AIMCアクセラレータにおける同期および非同期パイプライン並列処理を提案し、その収束保証と高速化の可能性を示す。
Resumé
アナログメモリ内アクセラレータ上でのパイプライン勾配ベースモデルトレーニング:研究論文要約
Wu, Z., Xiao, Q., Gokmen, T., Tsai, H., El Maghraoui, K., & Chen, T. (2024). Pipeline Gradient-based Model Training on Analog In-memory Accelerators. arXiv preprint arXiv:2410.15155.
本研究は、大規模な深層ニューラルネットワーク(DNN)のトレーニングを高速化し、エネルギー効率を向上させることを目的としています。特に、アナログメモリ内コンピューティング(AIMC)アクセラレータにおけるパイプライン並列処理の可能性と課題を調査しています。