Die Studie untersucht das Problem des exemplarfreien kontinuierlichen Lernens, bei dem der Zugriff auf alte Aufgabenproben während des Lernens einer neuen Aufgabe streng verboten ist.
Zunächst werden empirische Erkenntnisse präsentiert, die zeigen, dass das Mitteln der Parameterextraktormodelle des Single Task Learning (STL) in einem einzigen vereinheitlichten Lerner das Potenzial hat, Wissen über alle Aufgaben hinweg zu erhalten. Basierend auf dieser Beobachtung wird das DLCPA-Framework vorgestellt.
DLCPA besteht aus drei Hauptkomponenten: einem plastischen Lerner, einem stabilen Lerner und mehreren aufgabenspezifischen Klassifikatoren. Der plastische Lerner konzentriert sich darauf, neues Aufgabenwissen zu erwerben, während der stabile Lerner dafür verantwortlich ist, das gesamte erlernte Wissen zu akkumulieren. Die Übertragung von Wissen vom plastischen Lerner zum stabilen Lerner erfolgt über eine kumulative Parameteraveragierung.
Während des Lernens einer neuen Aufgabe durchläuft DLCPA einen dreistufigen Zyklus: 1) Der plastische Lerner wird zunächst mit einer selbstüberwachten Verlustfunktion optimiert, um die Robustheit der Merkmalsextraktion zu verbessern. 2) Anschließend wird der stabile Lerner in Bezug auf den plastischen Lerner durch kumulative Parameteraveragierung aktualisiert, um seine aufgabenübergreifende Verallgemeinerung beizubehalten. 3) Schließlich wird der aufgabenspezifische Klassifikator entsprechend dem stabilen Lerner optimiert.
Die experimentellen Ergebnisse auf CIFAR-100 und Tiny-ImageNet zeigen, dass DLCPA die Leistung mehrerer state-of-the-art-Baselines in sowohl Task-IL als auch Class-IL übertrifft.
To Another Language
from source content
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Wenju Sun,Qi... lúc arxiv.org 03-20-2024
https://arxiv.org/pdf/2310.18639.pdfYêu cầu sâu hơn