Der Artikel präsentiert einen innovativen Ansatz namens Multi-Level Online Sequential Experts (MOSE) zur Lösung der besonderen Herausforderungen des Online-kontinuierlichen Lernens (OCL).
MOSE besteht aus zwei Hauptkomponenten:
Multi-Level-Supervision: MOSE kultiviert das Modell als gestapelte Teilexperten, die hierarchische Merkmale auf verschiedenen Skalen extrahieren. Jeder Teilexperte wird mit Kreuzentropie- und kontrastiver Repräsentationslernung trainiert, um eine angemessene Konvergenz für neue Aufgaben zu erreichen, ohne die Leistung alter Aufgaben zu beeinträchtigen.
Reverse Self-Distillation: MOSE überträgt Wissen von den Teilexperten zum finalen Prädiktor, um die Stärken der verschiedenen Expertisen zu nutzen und die Leistung weiter zu verbessern.
Die Ergebnisse zeigen, dass MOSE die Leistung gegenüber dem Stand der Technik deutlich verbessert, mit bis zu 7,3% Steigerung auf Split CIFAR-100 und 6,1% auf Split Tiny-ImageNet. MOSE löst erfolgreich das Überanpassungs-Unteranpassungs-Dilemma des OCL, indem es neue Aufgaben effizient lernt und gleichzeitig die Leistung auf alten Aufgaben bewahrt.
In un'altra lingua
dal contenuto originale
arxiv.org
Approfondimenti chiave tratti da
by HongWei Yan,... alle arxiv.org 04-02-2024
https://arxiv.org/pdf/2404.00417.pdfDomande più approfondite