Der Artikel befasst sich mit dem Problem des exemplarfreien inkrementellen Lernens (EFCIL), bei dem ein neuronales Netzwerk sequenziell neue Klassifikationsaufgaben lernen muss, ohne Zugriff auf Daten vorheriger Aufgaben zu haben. Dies führt zu Katastrophischem Vergessen, da das Netzwerk bei der Anpassung an neue Aufgaben die Leistung auf früheren Aufgaben verliert.
Die Autoren schlagen einen Ansatz namens "Elastic Feature Consolidation" (EFC) vor, der zwei Hauptkomponenten umfasst:
Regularisierung der Merkmalsdarstellung: EFC verwendet eine Empirische Merkmalsmatrix (EMM), die eine Pseudo-Metrik im Merkmalsraum induziert. Diese EMM identifiziert Richtungen im Merkmalsraum, die für vorherige Aufgaben wichtig sind, und regularisiert die Drift in diesen Richtungen, um Vergessen zu vermeiden, während in anderen Richtungen mehr Plastizität erhalten bleibt.
Asymmetrisches Prototypen-Replay: Um die Anpassung der Klassifikatoren für vorherige Aufgaben an die sich verändernde Merkmalsextraktion zu erleichtern, verwenden die Autoren eine asymmetrische Verlustfunktion, die neue Aufgabendaten und Prototypen für vorherige Aufgaben kombiniert. Die Prototypen werden außerdem unter Verwendung der EMM aktualisiert, um Drift zu kompensieren.
Die experimentellen Ergebnisse auf CIFAR-100, Tiny-ImageNet und ImageNet-Subset zeigen, dass EFC den Stand der Technik deutlich übertrifft, insbesondere in herausfordernden Kaltstart-Szenarien, in denen die erste Aufgabe nicht groß genug ist, um ein hochqualitatives Rückgrat zu lernen.
In un'altra lingua
dal contenuto originale
arxiv.org
Approfondimenti chiave tratti da
by Simone Magis... alle arxiv.org 03-12-2024
https://arxiv.org/pdf/2402.03917.pdfDomande più approfondite