Kernekoncepter
EdgeOL ist ein Rahmenwerk für effizientes Online-Lernen auf Edge-Geräten, das die Inferenzgenauigkeit, die Ausführungszeit der Feinabstimmung und den Energieverbrauch optimiert.
Resumé
EdgeOL ist ein Rahmenwerk für effizientes Online-Lernen auf Edge-Geräten, das sowohl inter-Feinabstimmungs- als auch intra-Feinabstimmungsoptimierungen umfasst:
Inter-Feinabstimmungsoptimierung:
- EdgeOL verwendet einen dynamischen und adaptiven Feinabstimmungsfrequenz-Ansatz (DAF), der die Feinabstimmungsfrequenz dynamisch und adaptiv anpasst, um die Ausführungszeit und den Energieverbrauch zu reduzieren, ohne die Genauigkeit zu beeinträchtigen.
- DAF berücksichtigt dabei die Kosteneffizienz, die Inferenzintensität und Szenenwechsel, um die Feinabstimmungsfrequenz optimal anzupassen.
Intra-Feinabstimmungsoptimierung:
- EdgeOL verwendet einen ähnlichkeitsbasierten Einfriervorgang (SimFreeze), um Schichten während des Online-Lernens automatisch einzufrieren und aufzutauen.
- SimFreeze nutzt die Selbstrepräsentationsähnlichkeit der Schichten, um konvergierte Schichten zu identifizieren und einzufrieren, um Rechenkosten zu sparen und die Genauigkeit zu verbessern.
- Bei Szenenwechseln werden instabile eingefrorene Schichten automatisch wieder aufgetaut, um eine schnelle Anpassung an die neue Umgebung zu ermöglichen.
Darüber hinaus kann EdgeOL auch ungelabelte Daten durch semi-überwachtes Lernen nutzen, um die Modellleistung ohne umfangreiche Labeldaten zu verbessern.
Die Experimente zeigen, dass EdgeOL im Vergleich zum sofortigen Online-Lernen die durchschnittliche Ausführungszeit um 64%, den Energieverbrauch um 52% reduziert und die durchschnittliche Inferenzgenauigkeit um 1,75% verbessert.
Statistik
EdgeOL reduziert die durchschnittliche Ausführungszeit der Feinabstimmung um 64% im Vergleich zum sofortigen Online-Lernen.
EdgeOL reduziert den durchschnittlichen Energieverbrauch der Feinabstimmung um 52% im Vergleich zum sofortigen Online-Lernen.
EdgeOL verbessert die durchschnittliche Inferenzgenauigkeit um 1,75% im Vergleich zum sofortigen Online-Lernen.
Citater
"EdgeOL ist ein Rahmenwerk für effizientes Online-Lernen auf Edge-Geräten, das die Inferenzgenauigkeit, die Ausführungszeit der Feinabstimmung und den Energieverbrauch optimiert."
"EdgeOL verwendet einen dynamischen und adaptiven Feinabstimmungsfrequenz-Ansatz (DAF), der die Feinabstimmungsfrequenz dynamisch und adaptiv anpasst, um die Ausführungszeit und den Energieverbrauch zu reduzieren, ohne die Genauigkeit zu beeinträchtigen."
"EdgeOL verwendet einen ähnlichkeitsbasierten Einfriervorgang (SimFreeze), um Schichten während des Online-Lernens automatisch einzufrieren und aufzutauen."