Die Arbeit adressiert die Probleme der hohen Rechenleistung und mangelnden Transparenz im Prozess der automatischen Hyperparameter-Optimierung (HPO) von Convolutional Neural Networks (CNNs), die in ressourcenbeschränkten Internet-of-Things (IoT)-Umgebungen besonders relevant sind.
Der vorgeschlagene Ansatz TRL-HPO kombiniert Transformer-Architektur und Actor-Critic Reinforcement Learning (RL). Die Transformer-Architektur ermöglicht Parallelisierung und progressive Generierung der Schichten, was die Rechenzeit reduziert. Der Actor-Critic RL-Ansatz erzeugt schrittweise Belohnungen für jede generierte Schicht, was die Transparenz des Modellgenerierungsprozesses erhöht.
Die Evaluation auf dem MNIST-Datensatz zeigt, dass TRL-HPO die Klassifikationsgenauigkeit der Vergleichsansätze um 6,8% innerhalb der gleichen Zeitspanne übertrifft. Die Analyse der Ergebnisse identifiziert die Anhäufung von vollverbundenen Schichten als Hauptursache für Leistungseinbußen.
Die Arbeit eröffnet neue Forschungsfelder zur Verbesserung von RL-basierten HPO-Prozessen in ressourcenbeschränkten Umgebungen, wie die Reduzierung der Rechenzeit, Verbesserung der Exploration und Anpassung der Belohnungsfunktion.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Ibrahim Shae... at arxiv.org 03-20-2024
https://arxiv.org/pdf/2403.12237.pdfDeeper Inquiries