Core Concepts
Effiziente Suche nach Pareto-optimalen Architekturen über mehrere Geräte und Ziele hinweg.
Abstract
Die Arbeit stellt einen neuartigen NAS-Algorithmus vor, der Pareto-optimale Architekturen über mehrere Geräte hinweg generiert. Durch die Verwendung von Hypernetzwerken und Gradientenabstiegsverfahren wird die Effizienz und Skalierbarkeit des Ansatzes demonstriert. Experimente zeigen die Wirksamkeit des Verfahrens in verschiedenen Suchräumen und Anwendungen.
Abstract:
Schwierigkeiten bei der Pareto-Front-Profilerstellung in der Multi-Objective-Optimierung
Vorschlag eines NAS-Algorithmus zur Suche nach diversen Pareto-optimalen Lösungen
Effektive und skalierbare Methode für die Suche nach Architekturen über mehrere Geräte und Ziele hinweg
Einleitung:
Notwendigkeit von Trade-offs zwischen Genauigkeit und Effizienz bei neuronalen Netzwerken
NAS als Rahmen für die automatisierte Suche nach Architekturen
Herausforderungen bei der Multi-Objective-Optimierung und Hardware-Effizienz
Methode:
Verwendung von Hypernetzwerken und Gradientenabstiegsverfahren
MetaHypernetzwerk, Architekt, Supernetzwerk und MetaPredictor
Skalierbare Lösung für die Suche nach Pareto-optimalen Architekturen
Experimente:
Skalierbarkeit und Generalisierbarkeit des Ansatzes auf verschiedenen Suchräumen und Anwendungen
Profilierung der Pareto-Front über verschiedene Geräte und Ziele hinweg
Effiziente Multi-Objective-Optimierung auf ImageNet-1k und Transformer-Raum
Stats
Extensive experiments with up to 19 hardware devices and 3 objectives showcase the effectiveness and scalability of the method.
The MetaHypernetwork is pre-trained on 2000 architecture samples for the Transformer space.
MODNAS achieves a higher total hypervolume across all devices on ImageNet-1k compared to baselines.
Quotes
"Wir schlagen einen neuartigen NAS-Algorithmus vor, der Pareto-optimale Architekturen über mehrere Geräte hinweg generiert."
"Die Experimente zeigen die Effektivität und Effizienz unseres Verfahrens in verschiedenen Suchräumen und Anwendungen."