Ein hochdurchsatzfähiger 8-Bit-Aktivierungs-8-Bit-Gewichts-SRAM-basierter Charge-Domain-Computing-in-Memory-Makro mit vollparallelem analogem Addernetzwerk und Single-ADC-Schnittstelle

Core Concepts

Ein hochdurchsatzfähiger SRAM-basierter Charge-Domain-Computing-in-Memory-Makro, der die MAC-Operation (Multiply-Accumulate) und ReLU (Rectified Linear Unit) von zwei 8-Bit-Vektoren in einem einzigen Zyklus mit nur einer A/D-Wandlung durchführen kann, um hohe Leistung und Energieeffizienz zu erreichen.

Abstract

Der Artikel präsentiert eine neuartige SRAM-basierte Charge-Domain-Computing-in-Memory (CD-CiM)-Architektur, die eine hohe Durchsatzleistung und Energieeffizienz für Anwendungen mit mehrbit-Quantisierung erreicht.
Die Hauptmerkmale sind:

Zweistufiger kompakter ladungsdomänenbasierter analoger Adderbaum (CAAT) zur effizienten Summierung der Ausgaben der CiM-Zellen
ReLU-optimierte Single-ADC-Schnittstelle für das gesamte CiM-Array, die die Anzahl der benötigten A/D-Wandlungen um den Faktor 8 reduziert
Feintuneverfahren zur Kompensation der Nichtlinearitäten von CAAT und ADC, um die Genauigkeit der Inferenz zu verbessern
Der vorgeschlagene Makro erreicht 51,2 GOPS Durchsatz und 10,3 TOPS/W Energieeffizienz bei 88,6% Genauigkeit auf dem CIFAR-10-Datensatz. Im Vergleich zu früheren Arbeiten bietet der Entwurf erhebliche Verbesserungen bei Durchsatz, Fläche und Energieverbrauch.

Stats

Die Messungen des Testchips in 65nm CMOS zeigen, dass der vorgeschlagene Makro eine Durchsatzleistung von 51,2 GOPS und eine Energieeffizienz von 10,3 TOPS/W erreicht.

Quotes

"Performing data-intensive tasks in the von Neumann architecture is challenging to achieve both high performance and power efficiency due to the memory wall bottleneck."
"Computing-in-memory (CiM) is a promising mitigation approach by enabling parallel in-situ multiply-accumulate (MAC) operations within the memory with support from the peripheral interface and datapath."

Key Insights Distilled From

A 65nm 8b-Activation 8b-Weight SRAM-Based Charge-Domain Computing-in-Memory Macro Using A Fully-Parallel Analog Adder Network and A Single-ADC Interface

by Guodong Yin,... at arxiv.org 04-03-2024

https://arxiv.org/pdf/2212.04320.pdf

Deeper Inquiries

Wie könnte die vorgeschlagene CiM-Architektur für andere Anwendungen wie Bildverarbeitung oder Sprachverarbeitung angepasst werden?

Die vorgeschlagene CiM-Architektur könnte für Bildverarbeitung oder Sprachverarbeitung angepasst werden, indem spezifische Operationen und Datenformate berücksichtigt werden. Zum Beispiel könnten Convolutional Neural Networks (CNNs) für Bildverarbeitung implementiert werden, indem die Architektur auf die speziellen Anforderungen von Faltungsschichten und Pooling-Schichten zugeschnitten wird. Für Sprachverarbeitung könnten Recurrent Neural Networks (RNNs) oder Transformer-Modelle integriert werden, wobei die Architektur auf die sequenzielle Natur von Sprachdaten abgestimmt wird. Darüber hinaus könnten spezielle Aktivierungsfunktionen oder Gewichtungen für die jeweilige Anwendung optimiert werden, um die Genauigkeit und Effizienz zu verbessern.

Welche zusätzlichen Optimierungen wären möglich, um die Energieeffizienz weiter zu steigern?

Um die Energieeffizienz weiter zu steigern, könnten zusätzliche Optimierungen vorgenommen werden. Eine Möglichkeit wäre die Implementierung von dynamischer Spannungs- und Frequenzskalierung, um die Leistung an die aktuellen Anforderungen anzupassen und Energie zu sparen. Des Weiteren könnten Techniken wie Sparsity-Induktion oder Quantisierung eingesetzt werden, um die Anzahl der benötigten Operationen und die Genauigkeit der Berechnungen zu optimieren. Darüber hinaus könnten spezielle Schaltungsdesigns oder Materialien verwendet werden, um den Energieverbrauch weiter zu reduzieren, beispielsweise durch die Integration von energieeffizienten Transistoren oder Materialien mit niedrigem Leistungsverbrauch.

Wie könnte die Feintunefunktion in Zukunft weiter verbessert werden, um die Genauigkeit noch stärker zu erhöhen?

Um die Feintunefunktion weiter zu verbessern und die Genauigkeit zu erhöhen, könnten fortgeschrittene maschinelle Lernalgorithmen oder neuronale Netzwerke eingesetzt werden, um die Kompensation der Nichtlinearitäten in der Schaltung zu optimieren. Durch die Verwendung von adaptiven Algorithmen könnte die Feintunefunktion kontinuierlich verbessert und an neue Daten angepasst werden, um eine präzise Kompensation zu gewährleisten. Darüber hinaus könnten fortschrittliche Modellierungstechniken wie neuronale Netzwerke mit Rückkopplungsschleifen verwendet werden, um die Genauigkeit der Feintunefunktion zu erhöhen und sicherzustellen, dass die Nichtlinearitäten effektiv kompensiert werden.