核心概念
TPC (Drei-Phasen-Konsolidierung) ist ein einfacher aber effektiver Ansatz, um neue Klassen (und/oder Instanzen bekannter Klassen) kontinuierlich zu lernen, während das Vergessen von früherem Wissen kontrolliert wird.
摘要
TPC (Drei-Phasen-Konsolidierung) ist ein kontinuierliches Lernverfahren, das in drei Phasen unterteilt ist, um das Klassenbias-Problem (aufgrund von Klassenungleichgewicht) zu beseitigen und das Vergessen von unterrepräsentierten Klassen zu begrenzen.
In Phase I wird ein Bootstrapping für die neuen Klassen durchgeführt, um zu verhindern, dass die bekannten Klassen die neuen Klassen überwältigen. In Phase II werden alle Klassen gleichzeitig aktualisiert, aber es werden Mechanismen eingesetzt, um Klassenbias zu vermeiden und unnötige Gradientenkorrekturen zu begrenzen, um das Vergessen zu reduzieren. In Phase III erfolgt eine abschließende Konsolidierung, um ein optimales Gleichgewicht zwischen allen Klassen zu erreichen.
Experimente auf komplexen Datensätzen zeigen, dass TPC Genauigkeits- und Effizienzvorteile gegenüber konkurrierenden Ansätzen bietet. Der Algorithmus und alle Ergebnisse sind dank der Veröffentlichung im Avalanche-Framework für kontinuierliches Lernen voll reproduzierbar.
统计
Die Genauigkeit von TPC auf dem Core50 41/10-1-Benchmark ist sehr stabil über die Erfahrungen hinweg und die Endgenauigkeit liegt nahe an der oberen Grenze des gemeinsamen Trainings.
Auf dem ImageNet1000 100/10-10-Benchmark zeigt TPC die beste Leistung, während BiC in der zweiten Hälfte der Erfahrungen einen konsistenten Rückgang aufweist.
Auf dem Cifar100 11/50-5-Benchmark erreichen TPC und BiC die besten Ergebnisse, während die Genauigkeit von AR1 und DER++ deutlich niedriger ist.
Auf dem Benchmark CORe50 NICv2 391/10-1 mit Klassenwiederholungen erzielen TPC und DER++ die besten Ergebnisse.
引用
"TPC ist ein einfacher aber effektiver Ansatz, um neue Klassen (und/oder Instanzen bekannter Klassen) kontinuierlich zu lernen, während das Vergessen von früherem Wissen kontrolliert wird."
"Experimente auf komplexen Datensätzen zeigen, dass TPC Genauigkeits- und Effizienzvorteile gegenüber konkurrierenden Ansätzen bietet."