65nmの8ビット活性化8ビット重み付けSRAMベースの電荷ドメインコンピューティングインメモリマクロ - 完全並列アナログアドレネットワークと単一ADCインターフェースを使用

Core Concepts

提案設計は、単一ADCを使用して8ビットMAC演算とReLUを1つのCiMサイクルで完了することができ、従来設計と比べてADC関連の面積とエネルギーを8倍削減できる。

Abstract

本論文は、高スループットマルチビットSRAMベースの電荷ドメインコンピューティングインメモリ(CD-CiM)アーキテクチャを提案している。
まず、従来のSRAMベースCD-CiMは、高性能マルチビット量子化アプリケーションのスループット要件を満たすことが困難であることを示している。その主な原因は、(1)指数関数的に増加するバイナリ加重キャパシタネットワークのスケーリング問題、および(2) ADC関連のボトルネックである。
そこで本論文では、2段階のコンパクトな電荷ドメインアナログアドダツリー(CAAT)と、ReLU最適化された単一ADCセンシングインターフェースを提案している。これにより、2つの符号付き8ビットベクトルのMAC演算とReLUを1つのCiMサイクルで完了でき、従来設計と比べてADC関連の面積とエネルギーを8倍削減できる。
さらに、CAATとADCの非線形性を補償するための微調整スキームも提案している。これにより、CIFAR-10データセットで88.6%の高精度を達成している。
提案設計は、65nmプロセスで製造されたテストチップで実証されており、51.2GIOPSのスループットと10.3TOPS/Wのエネルギー効率を達成している。

Stats

提案設計は、従来のパラレル活性化入力CiM設計と比べて、8ビット入力の場合のキャパシタネットワークの面積を10.8倍削減できる。
提案設計は、従来のパラレル活性化入力CiM設計と比べて、ADCエネルギー消費を約1/8に削減できる。
提案設計は、従来のパラレル活性化入力CiM設計と比べて、マクロレベルのエネルギー効率を1.6倍向上できる。

Quotes

なし

Key Insights Distilled From

A 65nm 8b-Activation 8b-Weight SRAM-Based Charge-Domain Computing-in-Memory Macro Using A Fully-Parallel Analog Adder Network and A Single-ADC Interface

by Guodong Yin,... at arxiv.org 04-03-2024

https://arxiv.org/pdf/2212.04320.pdf

Deeper Inquiries

提案設計のスケーラビリティはどの程度か

提案設計は、高いスケーラビリティを持っています。より高ビット幅の入力や重みに対応するために、提案されたCAAT（charge-domain analog adder tree）は、ハイブリッドなバイナリ-C-2Cキャパシタネットワークを使用しており、高い精度と効率を実現しています。この設計では、9つのレプリケートされたCiMバンクが含まれており、各バンクには複数の行の10T1C SRAM CiMセルがあります。この構造により、8ビットの入力や重みに対応するための柔軟性が向上し、高性能なマルチビットSRAMベースのCD-CiMに必要なスループット要件を満たすことができます。

より高ビット幅の入力や重みに対してどのように対応できるか

提案された非線形性補償手法は、他のCiMアーキテクチャにも適用可能です。この手法は、出力ベースの微調整技術を使用しており、CAATやADCの非線形性効果を軽減し、高い推論精度を実現しています。一般化された補償手法を検討することで、他のCiMアーキテクチャにも適用可能な汎用的な解決策を提供することができます。この手法は、ハードウェアの追加サポートにわずかなコストがかかるため、広範な適用が可能です。

提案設計の非線形性補償手法は、他のCiMアーキテクチャにも適用可能か

提案設計は、他のニューラルネットワークアプリケーションにも適用可能です。この設計は、高いスループットと低エネルギーコストを実現し、高い推論精度を提供します。そのため、他のニューラルネットワークアプリケーションにも適用可能であり、幅広い適用範囲を持っています。さらなる検討を通じて、他のアプリケーションにおける有効性や適用性を評価し、提案設計の適用範囲を拡大することが重要です。