Główne pojęcia
Eine einfache und effektive Methode zur Konsolidierung von Merkmalsdarstellungen, die Drift in für vorherige Aufgaben hochrelevanten Richtungen regularisiert und Prototypen verwendet, um Aufgaben-Rezenz-Verzerrung zu reduzieren.
Streszczenie
Der Artikel befasst sich mit dem Problem des exemplarfreien inkrementellen Lernens (EFCIL), bei dem neue Klassifikationsaufgaben schrittweise in bereits trainierte Modelle integriert werden müssen, ohne auf Beispiele aus früheren Aufgaben zurückgreifen zu können.
Der Hauptbeitrag ist die Einführung einer Methode namens "Elastic Feature Consolidation" (EFC), die zwei Schlüsselkomponenten umfasst:
-
Eine Regularisierung der Merkmalsdarstellung basierend auf einer "Empirischen Merkmalsmatrix" (EFM), die eine Pseudo-Metrik im Merkmalsraum induziert. Dies ermöglicht es, die Drift in für vorherige Aufgaben wichtigen Richtungen zu kontrollieren, während in anderen Richtungen mehr Plastizität erhalten bleibt.
-
Eine asymmetrische Prototypen-Wiederholungsverlustfunktion (PR-ACE), die die Anpassung der Klassifikatoren für frühere Aufgaben an die sich verändernde Rückgratstruktur ausgleicht, indem sie aktuelle Aufgabendaten und Prototypen aus früheren Aufgaben kombiniert.
Darüber hinaus wird gezeigt, wie die EFM verwendet werden kann, um die Drift der Prototypen über die inkrementellen Schritte hinweg zu schätzen und zu kompensieren.
Die experimentellen Ergebnisse auf CIFAR-100, Tiny-ImageNet und ImageNet-Subset zeigen, dass EFC den Stand der Technik sowohl in Warm-Start- als auch in herausfordernden Kalt-Start-Szenarien deutlich übertrifft.
Statystyki
Die Empirische Merkmalsmatrix (EFM) induziert eine Pseudo-Metrik im Merkmalsraum, die Informationen über die Informationsgeometrie des Merkmalsraums liefert.
Die Regularisierung mit der EFM ermöglicht es, die Drift in für vorherige Aufgaben wichtigen Richtungen zu kontrollieren, während in anderen Richtungen mehr Plastizität erhalten bleibt.
Die asymmetrische Prototypen-Wiederholungsverlustfunktion (PR-ACE) balanciert aktuelle Aufgabendaten und Prototypen aus früheren Aufgaben, um die Anpassung der Klassifikatoren für frühere Aufgaben an die sich verändernde Rückgratstruktur zu verbessern.
Cytaty
"Eine einfache und effektive Methode zur Konsolidierung von Merkmalsdarstellungen, die Drift in für vorherige Aufgaben hochrelevanten Richtungen regularisiert und Prototypen verwendet, um Aufgaben-Rezenz-Verzerrung zu reduzieren."
"Die Empirische Merkmalsmatrix (EFM) induziert eine Pseudo-Metrik im Merkmalsraum, die Informationen über die Informationsgeometrie des Merkmalsraums liefert."
"Die asymmetrische Prototypen-Wiederholungsverlustfunktion (PR-ACE) balanciert aktuelle Aufgabendaten und Prototypen aus früheren Aufgaben, um die Anpassung der Klassifikatoren für frühere Aufgaben an die sich verändernde Rückgratstruktur zu verbessern."