Der Artikel untersucht die Herausforderungen der üblichen Evaluierungsmethode für Continual-Learning-Algorithmen und schlägt ein neues zweiphasiges Evaluierungsprotokoll vor.
In der ersten Phase, der Hyperparameter-Abstimmung, werden für jeden Algorithmus die optimalen Hyperparameter auf Basis eines Datensatzes ermittelt. In der zweiten Phase, der Evaluierung, werden diese optimalen Hyperparameter dann auf einem anderen Datensatz im gleichen Szenario angewendet, und die Leistung dient als Bewertungsgrundlage.
Die Experimente zeigen, dass die übliche Evaluierungsmethode zu einer Überschätzung der Leistungsfähigkeit vieler state-of-the-art Continual-Learning-Algorithmen führt. Im Vergleich dazu schneiden einige ältere Baseline-Algorithmen in der vorgeschlagenen realistischeren Evaluierung besser ab. Dies unterstreicht die Notwendigkeit, das neue Evaluierungsprotokoll anzuwenden, um die tatsächliche Continual-Learning-Fähigkeit der Algorithmen besser einschätzen zu können.
Darüber hinaus analysieren die Autoren die Effizienz der Algorithmen in Bezug auf Modellgröße und Trainingszeit, was weitere Erkenntnisse über die praktische Anwendbarkeit der Algorithmen liefert.
Sang ngôn ngữ khác
từ nội dung nguồn
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Sungmin Cha,... lúc arxiv.org 03-15-2024
https://arxiv.org/pdf/2403.09066.pdfYêu cầu sâu hơn