Der Artikel stellt den FLEXNN-Beschleuniger vor, einen flexiblen KI-Beschleuniger, der auf agilen Designprinzipien basiert, um vielseitige Datenflüsse zu ermöglichen und so die Energieeffizienz zu steigern.
Im Gegensatz zu herkömmlichen KI-Beschleuniger-Architekturen, die feste Datenflüsse verwenden, ermöglicht der FLEXNN-Beschleuniger anpassbare Datenflüsse jeder Art durch softwarekonfigurierbare Beschreibungen. Da die Datenübertragungskosten die Rechenkosten aus Energiesicht deutlich überwiegen, ermöglicht die Flexibilität der Datenflüsse eine Optimierung der Übertragung pro Schicht, was zu einer minimalen Datenübertragung und einem geringeren Energieverbrauch führt.
Um die Leistung und Energieeffizienz innerhalb der FLEXNN-Architektur weiter zu steigern, wird eine neuartige auf Spärlichkeit basierende Beschleunigungslogik vorgestellt. Diese Logik nutzt die feinkörnige Spärlichkeit in Aktivierungen und Gewichten, um redundante Berechnungen zu umgehen und so die Recheneinheit im Hardware-Beschleuniger zu optimieren.
toiselle kielelle
lähdeaineistosta
arxiv.org
Tärkeimmät oivallukset
by Arnab Raha,D... klo arxiv.org 03-15-2024
https://arxiv.org/pdf/2403.09026.pdfSyvällisempiä Kysymyksiä