Die Studie untersucht neue Methoden zur adaptiven Terminierung von Early Exit Neuronalen Netzen (EENNs), die auf der Beobachtung zeitlicher Korrelationen in Eingabedaten basieren.
Die Ansätze "Difference Detection" und "Temporal Patience" verwenden die Ausgaben der Early Exit Klassifikatoren als semantische Einbettungen, um die Ähnlichkeit zwischen aufeinanderfolgenden Eingaben zu quantifizieren. Solange die Variation in den Ausgaben unter einem definierten Schwellwert bleibt, wird angenommen, dass es sich um ähnliche Eingaben handelt und die Inferenz frühzeitig beendet.
"Difference Detection" nutzt stets den ersten Early Exit Klassifikator, um die Ähnlichkeit zu bestimmen. "Temporal Patience" wählt den frühesten Klassifikator, dessen Ausgabe mit der Mehrheitsentscheidung aller Klassifikatoren übereinstimmt. Letzteres erhöht die Genauigkeit, kann aber den Rechenaufwand leicht erhöhen.
Die Evaluation zeigt, dass die vorgestellten Ansätze den Rechenaufwand im Vergleich zu etablierten Methoden um bis zu 80% reduzieren können, bei gleichzeitiger Aufrechterhaltung der Genauigkeit innerhalb von 5% des Originalmodells. Die Ergebnisse unterstreichen das Potenzial, zeitliche Korrelationen in Sensordaten für effizientere Entscheidungen in EENNs zu nutzen.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Max Sponner,... at arxiv.org 03-14-2024
https://arxiv.org/pdf/2403.07958.pdfDeeper Inquiries