Die Arbeit stellt eine Methode namens Tensor Approximation via Structured Decomposition (TASD) vor, um beliebige dünne Tensoren durch eine Reihe von strukturiert dünnbesetzten Tensoren zu approximieren.
TASD nutzt die distributive Eigenschaft der Tensoralgebra, um jeden unstrukturierten dünnen Tensor in eine Reihe von strukturiert dünnen Tensoren zu zerlegen. Dadurch können dichte und dünne DNN-Modelle ohne Feinabstimmung auf strukturiert dünn unterstützter Hardware beschleunigt werden.
Die Autoren entwickeln ein Software-Framework namens TASDER, das für jede Schicht eines DNN-Modells eine hochwertige strukturierte Zerlegung für Gewichte und Aktivierungen sucht. Dadurch können die Modelle auf jeder Plattform mit strukturiert dünn unterstützter Hardware beschleunigt werden.
Die Evaluierungsergebnisse zeigen, dass TASD die Energie-Verzögerungs-Kennzahl (EDP) um bis zu 83% und durchschnittlich um 74% verbessern kann, indem es die Leistung bestehender strukturiert dünn unterstützter Hardware-Baselines ausnutzt.
Ke Bahasa Lain
dari konten sumber
arxiv.org
Wawasan Utama Disaring Dari
by Geonhwa Jeon... pada arxiv.org 03-14-2024
https://arxiv.org/pdf/2403.07953.pdfPertanyaan yang Lebih Dalam