核心概念
Das Erlernen neuer Klassen führt oft zum Überschreiben von alten Klassen, was zu katastrophalem Vergessen führt. EASE löst dieses Problem, indem es leichtgewichtige, aufgabenspezifische Adapter-Module für jede neue Aufgabe trainiert, um aufgabenspezifische Subräume zu schaffen. Diese Adapter ermöglichen eine gemeinsame Entscheidungsfindung über mehrere Subräume hinweg, ohne dass alte Klassen vergessen werden.
摘要
Der Beitrag befasst sich mit dem Problem des klasseninkrementellen Lernens (Class-Incremental Learning, CIL), bei dem ein Lernsystem kontinuierlich neue Klassen lernen muss, ohne das zuvor Erlernte zu vergessen. Trotz der starken Leistung von vortrainierten Modellen (Pre-Trained Models, PTMs) im CIL besteht weiterhin ein kritisches Problem: Das Erlernen neuer Klassen führt oft zum Überschreiben alter Klassen.
Um dieses Problem zu lösen, schlagen die Autoren EASE (ExpAndable Subspace Ensemble) vor. EASE trainiert für jede neue Aufgabe ein leichtgewichtiges Adapter-Modul, um aufgabenspezifische Subräume zu schaffen. Diese Adapter ermöglichen es, Entscheidungen über mehrere Subräume hinweg zu treffen, ohne dass alte Klassen vergessen werden.
Da sich die Daten im Laufe der Zeit weiterentwickeln, werden die alten Klassifikatoren inkompatibel mit den neuen Subräumen. Daher entwickeln die Autoren eine semantikgesteuerte Prototyp-Ergänzungsstrategie, die die neuen Merkmale der alten Klassen ohne die Verwendung von Instanzen der alten Klassen synthetisiert.
Umfangreiche Experimente auf sieben Benchmark-Datensätzen belegen die state-of-the-art-Leistung von EASE.
統計資料
Die Anzahl der trainierbaren Parameter von EASE ist in der gleichen Größenordnung wie andere Prompt-basierte Methoden, während es die beste Leistung unter allen Wettbewerbern ohne die Verwendung von Exemplaren erzielt.
EASE übertrifft den zweitbesten Ansatz auf ImageNet-R/A, ObjectNet und VTAB um 4% bis 7,5% in der letzten Inkrement-Stufe.
EASE erzielt auch im Vergleich zu traditionellen exemplarbasierten CIL-Methoden wettbewerbsfähige Ergebnisse, obwohl es keine Exemplare verwendet.
引述
"Learning new classes often results in the overwriting of old ones. Excessive modification of the network causes forgetting, while minimal adjustments lead to an inadequate fit for new classes."
"As data evolves, the expanding subspaces render the old class classifiers incompatible with new-stage spaces."
"We utilize class-wise similarities in the co-occurrence space to guide the classifier mapping in the target space. Thus, we can synthesize classifiers of former stages without using exemplars."