Die Arbeit stellt eine Methode namens Tensor Approximation via Structured Decomposition (TASD) vor, um beliebige dünne Tensoren durch eine Reihe von strukturiert dünnbesetzten Tensoren zu approximieren.
TASD nutzt die distributive Eigenschaft der Tensoralgebra, um jeden unstrukturierten dünnen Tensor in eine Reihe von strukturiert dünnen Tensoren zu zerlegen. Dadurch können dichte und dünne DNN-Modelle ohne Feinabstimmung auf strukturiert dünn unterstützter Hardware beschleunigt werden.
Die Autoren entwickeln ein Software-Framework namens TASDER, das für jede Schicht eines DNN-Modells eine hochwertige strukturierte Zerlegung für Gewichte und Aktivierungen sucht. Dadurch können die Modelle auf jeder Plattform mit strukturiert dünn unterstützter Hardware beschleunigt werden.
Die Evaluierungsergebnisse zeigen, dass TASD die Energie-Verzögerungs-Kennzahl (EDP) um bis zu 83% und durchschnittlich um 74% verbessern kann, indem es die Leistung bestehender strukturiert dünn unterstützter Hardware-Baselines ausnutzt.
To Another Language
from source content
arxiv.org
Principais Insights Extraídos De
by Geonhwa Jeon... às arxiv.org 03-14-2024
https://arxiv.org/pdf/2403.07953.pdfPerguntas Mais Profundas