PIMSIM-NN: ISAベースのシミュレーションフレームワーク

Core Concepts

ニューラルネットワークを加速するためのISAベースのシミュレーションフレームワークの提案と効果的なソフトウェア/ハードウェア最適化の評価方法を示す。

Abstract

この論文は、2024年に開催されたDesign, Automation and Test in Europe Conference (DATE’24) Late Breaking Resultsで発表されました。Processing-in-memory（PIM）はニューラルネットワークを加速する潜在力を示しています。本研究では、ニューラルネットワーク向けのISAを提供し、サイクル精度の設定可能なシミュレーターを含むISAベースのシミュレーションフレームワークを紹介しています。このフレームワークは、ソフトウェアアルゴリズムとハードウェアアーキテクチャを分離し、ソフトウェア/ハードウェア最適化の効果を評価するより便利な方法を提供します。また、イベント駆動型シミュレーション手法が採用されており、より良い硬件並列処理サポートが行われています。
ISAはDNNの計算要件とPIMアーキテクチャの特性を考慮して設計されており、主要演算子の高水準抽象化が含まれています。マトリックス命令は効率的な行列- ベクトル乗算を実行するために使用されます。転送命令は同期されており、ISAでは抽象的なアーキテクチャが想定されています。
コンパイラはDNN説明を各コア用に命令に変換します。システム・レベル・シミュレータはサイクル精度で構成可能であり、SystemC上に構築されています。また、MNSIM2.0と比較した結果や異なる最適化手法による影響も示しています。

Stats

MNSIM2.0 [1] は固定データパスと密結合ソフトウェア・ ハードウェア設計を使用しており、最適化空間が制限されている。
PUMA [2] は異種ISA（core-levelおよびtile-level） を提案しており、これによって実装やソフトウェア同期が困難になっている。

Quotes

"Deep neural networks (DNNs) have shown remarkable performance in various fields, which require a large number of matrix-vector multiplications (MVMULs)."
"Our simulation framework can evaluate the optimizations of software and hardware independently."
"We propose an instruction set architecture (ISA)-based simulation framework for crossbar-based PIM accelerators running DNNs to enable independent software optimization and hardware design space exploration."

Key Insights Distilled From

PIMSIM-NN

by Xinyu Wang,X... at arxiv.org 02-29-2024

https://arxiv.org/pdf/2402.18089.pdf

Deeper Inquiries

どうやって異種ISAが実装やソフトウェア同期に影響するか

ISAに基づくPIMシミュレーションフレームワークは、異種ISAが実装やソフトウェア同期にどのように影響するかを明らかにします。ISAは、DNNの計算要件とPIMアーキテクチャの特性を考慮して設計されており、主な演算子の高レベル抽象化を提供します。これらの命令は、DNNで使用される主要な演算子タイプ（行列、ベクトル、転送、スカラー）に分類されます。このようなISA設計により、ソフトウェアアルゴリズムとハードウェアアーキテクチャが切り離されるため、「独立した」最適化手法やデザインスペース探索が可能となります。

MNSIM2.0と比較した際に生じた性能差異は何から生じたものか

MNSIM2.0と比較した際に生じた性能差異は通信メカニズムの理想的さから生じました。MNSIM2.0では完全非同期通信を前提としており、データが計算され次第すぐさま次のコンポーネントへ送信されることを想定しています。一方で提案されたISAおよびシミュレータでは同期通信方式を採用し、通信遅延をより正確にシミュレートします。この点でパフォーマンスが低下する傾向が見られました。

通信コストが推論遅延全体の40％〜90％占めることからどんな改善策が考えられるか

推論遅延全体の40％〜90％占める通信コスト削減策としてはいくつか考えられます。

バッファサイズ最適化: バッファサイズや操作スケジューリング方法を改善し、効率的なデータ伝送・受け入れ機能強化。
並列処理最適化: 並列処理技術導入や内部パラメータ調整で通信負荷分散・効率向上。
統合型オペレーション管理: 複数層間連携時でも追加バッファ不要な統合型オペレーション管理導入等。

これら改善策は通信コスト削減だけでなく全体的な推論速度向上ももたらす可能性があります。