Das Papier befasst sich mit dem Problem, dass Modelle Schwierigkeiten haben, vielfältige Merkmale zu lernen, da sie entweder zuvor gelernte Merkmale vergessen oder neue Merkmale nicht lernen können. Um dieses Problem zu lösen, stellen die Autoren Diverse Feature Learning (DFL) vor, eine Methode, die einen wichtigen Algorithmus zur Erhaltung von Merkmalen mit einem neuen Algorithmus zum Lernen von Merkmalen kombiniert.
Für die Erhaltung wichtiger Merkmale nutzt DFL Selbstdistillation in Ensemble-Modellen, indem es bedeutsame Modellgewichte aus dem Trainingsverlauf auswählt. Zum Lernen neuer Merkmale verwendet DFL Reset, bei dem regelmäßig ein Teil des Modells neu initialisiert wird. Die Experimente mit verschiedenen Modellen zur Bildklassifizierung zeigen, dass DFL synergistische Effekte zwischen Selbstdistillation und Reset erzielt.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Sejik Park at arxiv.org 04-01-2024
https://arxiv.org/pdf/2403.19941.pdfDeeper Inquiries