Der Artikel untersucht die Herausforderungen der üblichen Evaluierungsmethode für Continual-Learning-Algorithmen und schlägt ein neues zweiphasiges Evaluierungsprotokoll vor.
In der ersten Phase, der Hyperparameter-Abstimmung, werden für jeden Algorithmus die optimalen Hyperparameter auf Basis eines Datensatzes ermittelt. In der zweiten Phase, der Evaluierung, werden diese optimalen Hyperparameter dann auf einem anderen Datensatz im gleichen Szenario angewendet, und die Leistung dient als Bewertungsgrundlage.
Die Experimente zeigen, dass die übliche Evaluierungsmethode zu einer Überschätzung der Leistungsfähigkeit vieler state-of-the-art Continual-Learning-Algorithmen führt. Im Vergleich dazu schneiden einige ältere Baseline-Algorithmen in der vorgeschlagenen realistischeren Evaluierung besser ab. Dies unterstreicht die Notwendigkeit, das neue Evaluierungsprotokoll anzuwenden, um die tatsächliche Continual-Learning-Fähigkeit der Algorithmen besser einschätzen zu können.
Darüber hinaus analysieren die Autoren die Effizienz der Algorithmen in Bezug auf Modellgröße und Trainingszeit, was weitere Erkenntnisse über die praktische Anwendbarkeit der Algorithmen liefert.
לשפה אחרת
מתוכן המקור
arxiv.org
תובנות מפתח מזוקקות מ:
by Sungmin Cha,... ב- arxiv.org 03-15-2024
https://arxiv.org/pdf/2403.09066.pdfשאלות מעמיקות