Основні поняття
Ein zeitkontinuierlicher und analoger in-memory neuronaler Differentialgleichungslöser, der auf resistivem Speicher basiert, überwindet die Beschränkungen digitaler Computer und ermöglicht eine deutlich schnellere und energieeffizientere Bildgenerierung.
Анотація
Das Papier präsentiert einen zeitkontinuierlichen und analogen neuronalen Differentialgleichungslöser, der auf resistivem Speicher-basierter In-Memory-Verarbeitung basiert. Dieser Ansatz überwindet die Beschränkungen digitaler Computer, die durch getrennte Speicher- und Recheneinheiten sowie die Diskretisierung und Digitalisierung von Signalen gekennzeichnet sind.
Der vorgestellte Lösungsansatz besteht aus zwei Hauptkomponenten:
- Ein analoges neuronales Netzwerk, das auf resistiven Speicher-Arrays basiert. Hier werden Multiplikation und Addition direkt im Speicher durchgeführt, was die Übertragungszeiten und den Energieverbrauch deutlich reduziert.
- Ein analoger Rückkopplungsintegrator, der eine zeitkontinuierliche Lösung der neuronalen Differentialgleichung ermöglicht und Diskretisierungsfehler vermeidet.
Die Leistungsfähigkeit des Systems wird anhand zweier Anwendungsfälle demonstriert:
- Unbedingte Generierung einer kreisförmigen Verteilung: Gegenüber einem digitalen Referenzsystem wird eine 64,8-fache Steigerung der Generierungsgeschwindigkeit und eine 80,8%ige Reduzierung des Energieverbrauchs erreicht.
- Bedingte Generierung von Buchstaben im Latenzraum: Hier zeigt sich eine 156,5-fache Beschleunigung und eine 75,6%ige Energieeinsparung.
Darüber hinaus ist das System robust gegenüber den unvermeidlichen Rauschartefakten analoger Schaltungen, was für generative KI-Anwendungen von Vorteil ist.
Статистика
Die Generierungsgeschwindigkeit unseres Systems ist 64,8-mal höher als die eines digitalen Referenzsystems bei gleicher Generierungsqualität für die unbedingte Generierung.
Der Energieverbrauch unseres Systems ist 80,8% niedriger als der eines digitalen Referenzsystems bei gleicher Generierungsqualität für die unbedingte Generierung.
Die Generierungsgeschwindigkeit unseres Systems ist 156,5-mal höher als die eines digitalen Referenzsystems bei gleicher Generierungsqualität für die bedingte Generierung.
Der Energieverbrauch unseres Systems ist 75,6% niedriger als der eines digitalen Referenzsystems bei gleicher Generierungsqualität für die bedingte Generierung.
Цитати
"Unser Ansatz eröffnet einen neuen Horizont für Hardware-Lösungen im Edge Computing für generative KI-Anwendungen."
"Innerhalb eines bestimmten Bereichs beeinflussen das Lese- und Schreibrauschen der resistiven Speicher die Qualität der Diffusionsmodell-Generierung nicht wesentlich."