Die Studie führt ein neues Verfahren namens Adaptive Sharpness-Aware Pruning (AdaSAP) ein, um gleichzeitig Kompaktheit und Robustheit in tiefen neuronalen Netzen zu erreichen.
AdaSAP besteht aus drei Schritten:
Adaptive Gewichtsperturbationen: Während des Aufwärmens wird die Netzwerkschärfe adaptiv pro Neuron reguliert, um die Entfernung unwichtiger Neuronen zu erleichtern.
Neuronenentfernung: Es wird strukturelles Kanalpruning basierend auf einem beliebigen Wichtigkeitskriterium durchgeführt. Da die unwichtigen Neuronen bereits in flachen Regionen platziert wurden, bleibt die Modellleistung weitgehend erhalten.
Robustheitsförderung: Während des feinabstimmens wird die Netzwerkschärfe gleichmäßig über das gesamte Netz hinweg minimiert, um die Robustheit zu verbessern.
AdaSAP übertrifft eine Reihe von State-of-the-Art-Pruning-Techniken deutlich bei sauberer und robuster Leistung sowie relativer Robustheit sowohl in der Bildklassifizierung als auch in der Objekterkennung.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Anna Bair,Ho... at arxiv.org 03-14-2024
https://arxiv.org/pdf/2306.14306.pdfDeeper Inquiries