Concepts de base
Die Arbeit stellt eine Methode namens Tensor Approximation via Structured Decomposition (TASD) vor, um beliebige dünne Tensoren durch eine Reihe von strukturiert dünnbesetzten Tensoren zu approximieren. Dadurch können dichte und dünne DNN-Modelle ohne Feinabstimmung auf strukturiert dünn unterstützter Hardware beschleunigt werden.
Résumé
Die Arbeit stellt eine Methode namens Tensor Approximation via Structured Decomposition (TASD) vor, um beliebige dünne Tensoren durch eine Reihe von strukturiert dünnbesetzten Tensoren zu approximieren.
TASD nutzt die distributive Eigenschaft der Tensoralgebra, um jeden unstrukturierten dünnen Tensor in eine Reihe von strukturiert dünnen Tensoren zu zerlegen. Dadurch können dichte und dünne DNN-Modelle ohne Feinabstimmung auf strukturiert dünn unterstützter Hardware beschleunigt werden.
Die Autoren entwickeln ein Software-Framework namens TASDER, das für jede Schicht eines DNN-Modells eine hochwertige strukturierte Zerlegung für Gewichte und Aktivierungen sucht. Dadurch können die Modelle auf jeder Plattform mit strukturiert dünn unterstützter Hardware beschleunigt werden.
Die Evaluierungsergebnisse zeigen, dass TASD die Energie-Verzögerungs-Kennzahl (EDP) um bis zu 83% und durchschnittlich um 74% verbessern kann, indem es die Leistung bestehender strukturiert dünn unterstützter Hardware-Baselines ausnutzt.
Stats
Die Arbeit kann die Energie-Verzögerungs-Kennzahl (EDP) von dichten und dünnen DNN-Modellen um bis zu 83% und durchschnittlich um 74% verbessern.
TASD kann die Rechenleistung über eine Reihe von DNN-Modellen hinweg um durchschnittlich 40% reduzieren.
Citations
"Exploiting sparsity in deep neural networks (DNNs) has been a promising area to meet the growing computation need of modern DNNs."
"To bridge the gap between sparse DNN models and hardware, this paper proposes tensor approximation via structured decomposition (TASD), which leverages the distributive property in linear algebra to turn any sparse tensor into a series of structured sparse tensors."
"Evaluation results show that, by exploiting prior structured sparse hardware baselines, our method can accelerate off-the-shelf dense and sparse DNNs without fine-tuning and improves energy-delay-product by up to 83% and 74% on average."