Core Concepts
ONNXPruner ist ein vielseitiger Pruning-Adapter, der die Anwendung von Pruning-Algorithmen über verschiedene Modellstrukturen hinweg automatisiert und Entwicklern bei der Verbesserung praktischer Anwendungen hilft.
Abstract
Der Artikel stellt ONNXPruner vor, einen allgemeinen Modell-Pruning-Adapter für ONNX-Modelle. ONNXPruner zielt darauf ab, die praktische Anwendung von Modell-Pruning-Techniken zu verbessern, indem es die Anwendung von Pruning-Algorithmen über verschiedene Modellstrukturen hinweg automatisiert.
Kernpunkte:
- ONNXPruner nutzt das ONNX-Format, um die Interoperabilität von Pruning-Algorithmen über verschiedene Anwendungssysteme hinweg zu verbessern.
- Es führt Knoten-Assoziations-Bäume ein, um die Beziehungen zwischen einem beschnittenen Knoten und seinen assoziierten Knoten klar zu definieren. Dies ermöglicht es dem Pruner, sich automatisch an verschiedene Modellstrukturen anzupassen.
- Es entwickelt eine baumbasierte Pruning-Methode, die die Knoten-Assoziations-Bäume nutzt, um die Filter sowohl des beschnittenen Knotens als auch der assoziierten Knoten umfassend zu bewerten, was die Entfernung unwichtiger Gewichte effektiver macht.
Experimente auf verschiedenen Datensätzen und Modellen zeigen, dass ONNXPruner eine hohe Anpassungsfähigkeit und Leistungsfähigkeit aufweist.
Stats
Die Verwendung von ONNXPruner (ℓ1-Norm) führt zu einer Genauigkeitsverbesserung von 0,95 Prozentpunkten im Vergleich zur ℓ1-Norm-Methode bei einer Pruning-Rate von 0,3 für VGG16 auf CIFAR-10.
ONNXPruner (ℓ2-Norm) verbessert die Genauigkeit um 0,92 Prozentpunkte im Vergleich zur ℓ2-Norm-Methode bei einer Pruning-Rate von 0,3 für VGG16 auf CIFAR-10.
ONNXPruner (Hrank*) erhöht die Genauigkeit um 0,81 Prozentpunkte im Vergleich zur Hrank*-Methode bei einer Pruning-Rate von 0,3 für VGG16 auf CIFAR-10.
Quotes
"ONNXPruner streamlines the adaptation process across diverse deep learning frameworks and hardware platforms."
"A novel aspect of ONNXPruner is its use of node association trees, which automatically adapt to various model architectures."
"By leveraging node association trees, this method allows for a comprehensive analysis beyond traditional single-node evaluations, enhancing pruning performance without the need for extra operations."