Der Artikel befasst sich mit dem Problem des exemplarfreien inkrementellen Lernens (EFCIL), bei dem neue Klassifikationsaufgaben schrittweise in bereits trainierte Modelle integriert werden müssen, ohne auf Beispiele aus früheren Aufgaben zurückgreifen zu können.
Der Hauptbeitrag ist die Einführung einer Methode namens "Elastic Feature Consolidation" (EFC), die zwei Schlüsselkomponenten umfasst:
Eine Regularisierung der Merkmalsdarstellung basierend auf einer "Empirischen Merkmalsmatrix" (EFM), die eine Pseudo-Metrik im Merkmalsraum induziert. Dies ermöglicht es, die Drift in für vorherige Aufgaben wichtigen Richtungen zu kontrollieren, während in anderen Richtungen mehr Plastizität erhalten bleibt.
Eine asymmetrische Prototypen-Wiederholungsverlustfunktion (PR-ACE), die die Anpassung der Klassifikatoren für frühere Aufgaben an die sich verändernde Rückgratstruktur ausgleicht, indem sie aktuelle Aufgabendaten und Prototypen aus früheren Aufgaben kombiniert.
Darüber hinaus wird gezeigt, wie die EFM verwendet werden kann, um die Drift der Prototypen über die inkrementellen Schritte hinweg zu schätzen und zu kompensieren.
Die experimentellen Ergebnisse auf CIFAR-100, Tiny-ImageNet und ImageNet-Subset zeigen, dass EFC den Stand der Technik sowohl in Warm-Start- als auch in herausfordernden Kalt-Start-Szenarien deutlich übertrifft.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Simone Magis... at arxiv.org 03-12-2024
https://arxiv.org/pdf/2402.03917.pdfDeeper Inquiries