Der Erinnernde Transformer nutzt ein Mischsystem von Adaptern und einen generativen modellbasierten Routing-Mechanismus, um das katastrophale Vergessen in kontinuierlichen Lernaufgaben zu reduzieren, indem Aufgabendaten dynamisch zu relevanten Adaptern geleitet werden.
Durch Inspiration aus menschlichen Gedächtnis-Mechanismen führt CORE zwei innovative Strategien ein - Adaptive Quantity Allocation und Quality-Focused Data Selection - um die Effektivität von Wiedergabepuffern in kontinuierlichen Lernmodellen zu verbessern und katastrophales Vergessen zu verhindern.
Eine neuartige Methode zum kontinuierlichen Lernen, die Gewichtsinterpolation nutzt, um die Robustheit gegenüber katastrophalem Vergessen zu verbessern und die Stabilität-Plastizität-Abwägung intuitiv zu steuern.
Durch Modellierung des Parameterwechsels zwischen aufeinanderfolgenden Aufgaben mit einer niedrigrangigen Gewichtsmatrixtransformation kann das Modell effizient Wissen von früheren Aufgaben übertragen und gleichzeitig die Parameterwachstumsrate kontrollieren.
Kontinuierliches Lernen ist eine wichtige Herausforderung für künstliche Intelligenz und maschinelles Lernen, bei der Modelle neue Aufgaben lernen und gleichzeitig zuvor erworbenes Wissen beibehalten müssen. Bestehende Algorithmen für kontinuierliches Lernen sind oft auf eine kleine Anzahl von Aufgaben mit einheitlicher Größe ausgelegt und bilden die realen Lernszenarien nicht genau ab. In dieser Arbeit untersuchen wir die Leistung von Algorithmen für kontinuierliches Lernen bei einer großen Anzahl von Aufgaben, die aus einer Langzeitverteilung der Aufgabengrößen stammen. Wir schlagen eine Methode vor, die den Optimiererzustand in Adam wiederverwenden kann, um das Vergessen effektiv zu reduzieren, ohne dabei den Rechenaufwand oder den Speicherbedarf wesentlich zu erhöhen.
Ein neuartiger Ansatz für kontinuierliches Lernen, der die vortrainierten Modelle selbstständig durch Hinzufügen von Adapter-Modulen erweitert, um auf neue Aufgaben mit Verteilungsverschiebungen zu reagieren.
Wir schlagen eine neue Methode namens Continual Optimal Policy Regularization (COPR) vor, bei der wir die Verteilung der optimalen Strategie berechnen und die aktuelle Strategie basierend auf der historisch optimalen Verteilung regularisieren, um katastrophales Vergessen zu verhindern.
Gewichtete Ensemble-Modelle sind effektiv beim kontinuierlichen Lernen, da sie Plastizität beim Lernen neuer Aufgaben mit Stabilität bei der Beibehaltung zuvor erlernter Konzepte ausbalancieren können.
Effektive Bewältigung des Stabilitäts-Plastizitäts-Dilemmas durch ein neuartiges Framework mit generativem Adversarial Meta-Modell.