Die Studie führt einen neuartigen Ansatz namens COgnitive REplay (CORE) ein, um katastrophales Vergessen in kontinuierlichem Lernen effektiv zu verhindern. CORE basiert auf Erkenntnissen aus der kognitiven Wissenschaft über menschliche Gedächtnis-Mechanismen.
CORE umfasst zwei Hauptstrategien:
Adaptive Quantity Allocation (AQA): CORE bewertet die Vergessensrate früherer Aufgaben und die Interferenzrate der aktuellen Aufgabe, um den Wiedergabepuffer dynamisch und aufgabenspezifisch zuzuweisen. Dies stellt sicher, dass Aufgaben mit höherer Vergessensneigung mehr Aufmerksamkeit erhalten.
Quality-Focused Data Selection (QFDS): CORE nutzt einen Merkmalsextraktor, um repräsentative und ausgewogene Datensätze für den Wiedergabepuffer auszuwählen. Dies verbessert die Effektivität des Datenwiedergabe-Prozesses.
Die Experimente zeigen, dass CORE die Leistung über verschiedene Datensätze hinweg deutlich verbessert, insbesondere bei den am stärksten von Vergessen betroffenen Aufgaben. Im Vergleich zu führenden Baseline-Methoden erreicht CORE eine um 6,52% höhere durchschnittliche Genauigkeit auf split-CIFAR10 und eine um 6,30% höhere Genauigkeit für die am schlechtesten abschneidende Aufgabe.
Naar een andere taal
vanuit de broninhoud
arxiv.org
Belangrijkste Inzichten Gedestilleerd Uit
by Jianshu Zhan... om arxiv.org 04-10-2024
https://arxiv.org/pdf/2402.01348.pdfDiepere vragen