Der Artikel präsentiert einen neuartigen Ansatz, den "Chain of Compression", um verschiedene Kompressionsverfahren für Convolutional Neural Networks (CNNs) systematisch zu kombinieren und zu optimieren.
Zunächst werden die Interaktionen und die praktische Anwendungsreihenfolge zwischen jeweils zwei Kompressionsverfahren untersucht. Die Ergebnisse zeigen, dass die Reihenfolge der Anwendung einen entscheidenden Einfluss auf die Kompressionsleistung hat.
Anschließend wird demonstriert, dass das Einfügen zusätzlicher Kompressionsverfahren zwischen zwei bereits etablierten Verfahren die zuvor ermittelte Anwendungsreihenfolge nicht stört. Basierend darauf kann mithilfe von topologischer Sortierung eine optimale Sequenz für die Anwendung mehrerer Kompressionsverfahren abgeleitet werden.
Die vorgeschlagene optimale Sequenz folgt dabei einem konsistenten Prinzip: Sie beginnt mit statischen Kompressionsverfahren und geht dann zu dynamischen über, wobei die Granularität von grob zu fein fortschreitet.
Umfangreiche Experimente auf verschiedenen CNN-Architekturen und Datensätzen zeigen, dass die kombinierte Anwendung der Kompressionsverfahren in der optimalen Sequenz zu einer Reduktion des Rechenaufwands um den Faktor 100-1000 bei vernachlässigbarem Genauigkeitsverlust führen kann.
To Another Language
from source content
arxiv.org
Viktige innsikter hentet fra
by Yingtao Shen... klokken arxiv.org 03-27-2024
https://arxiv.org/pdf/2403.17447.pdfDypere Spørsmål