Kontinuierliches Kalibrieren von Lernmodellen für lebenslanges Lernen

Kontinuierliches Lernen (CL) zielt darauf ab, die Vorhersageleistung eines Modells über einen nicht-stationären Datenstrom hinweg zu maximieren. Allerdings neigen CL-Modelle dazu, frühere Kenntnisse zu vergessen, so dass sie oft schlechter abschneiden als ein Offline-Modell, das gemeinsam auf dem gesamten Datenstrom trainiert wurde. Da jedes CL-Modell früher oder später Fehler machen wird, ist es von entscheidender Bedeutung, kalibrierte CL-Modelle aufzubauen: Modelle, die ihre Zuversicht bei der Vorhersage zuverlässig angeben können. Wir liefern die erste empirische Studie zum Verhalten von Kalibrierungsansätzen in CL und zeigen, dass CL-Strategien nicht von Natur aus kalibrierte Modelle lernen. Um dieses Problem zu beheben, entwickeln wir einen kontinuierlichen Kalibrierungsansatz, der die Leistung von Nachbearbeitungskalibrierungsmethoden über eine breite Palette von Benchmarks und CL-Strategien hinweg verbessert.