核心概念
Das REAL-Verfahren verbessert die Repräsentationsextraktion und bietet eine analytische Lösung für das Problem des klasseninkrementellen Lernens.
摘要
Der Artikel präsentiert das Repräsentationsgestärkte Analytische Lernen (REAL), eine exemplarfreie Technik, die eine verbesserte Repräsentationsextraktion und eine analytische Lösung für das klasseninkrementelle Lernen (CIL) bietet.
Das REAL-Verfahren besteht aus zwei Hauptkomponenten:
Dual-Stream-Basisvortraining (DS-BPT): Während der Basisphase wird das Rückgrat in zwei Streams trainiert - überwachtes Lernen und selbstüberwachtes kontrastives Lernen (SSCL). Der SSCL-Stream ermöglicht das Lernen allgemeiner Repräsentationen ohne Labels, während der überwachte Lernstream ein Modell trainiert, um Labelinformationen in den nachfolgenden Prozess einzubinden.
Repräsentationssteigernde Destillation (RED): Der RED-Prozess überträgt Labelinformationen auf das SSCL-vortrainierte Rückgrat, wodurch das Rückgrat die Repräsentationen weiter verbessern kann, während das allgemeine Wissen erhalten bleibt. Dadurch werden während des CIL diskriminativere Repräsentationen erwartet.
Anschließend führt das REAL das analytische klasseninkrementelle Lernen in einer rekursiven Least-Square-Form durch. Die Experimente auf Benchmark-Datensätzen zeigen, dass REAL die bestehenden EFCIL-Methoden einschließlich der AL-basierten Techniken übertrifft und sogar die meisten replay-basierten Methoden übertrifft.
統計資料
Die Lösung der CIL-Aufgabe kann durch rekursives Training auf Dtrain
k
sequenziell reproduziert werden, ohne auf vorherige Daten angewiesen zu sein.
Die Lösung besteht hauptsächlich aus zwei Teilen: Hinzufügen neuen Wissens (d.h. RkX(B)T
k
Y train
k
) und Korrigieren alten Wissens (d.h. RkX(B)T
k
X(B)T
k
ˆ
W (k-1)
A
).
引述
"Theorem 3.1 indicates the results of joint training in (18) can be reproduced by recursively training on Dtrain
k
sequentially."
"This pattern ensures the requirement of preserving learned knowledge (stability) and accepting new information (plasticity) in CIL."