Core Concepts
Der Beitrag präsentiert eine theoretische Analyse des "Forward-only" Lernalgorithmus PEPITA und zeigt, dass dieser effektiv einem "Feedback-Alignment" Algorithmus mit adaptiver Rückkopplung entspricht. Darüber hinaus werden Strategien zur Verbesserung der Leistung von PEPITA durch Gewichtsverfall, Aktivierungsnormalisierung und gewichtsanpassende Rückkopplung vorgestellt.
Abstract
Der Artikel befasst sich mit dem "Forward-only" Lernalgorithmus PEPITA, der im Gegensatz zum üblichen Backpropagation-Algorithmus keine Rückwärtspropagation des Fehlers benötigt.
Zunächst wird gezeigt, dass PEPITA effektiv einem "Feedback-Alignment" Algorithmus mit adaptiver Rückkopplung entspricht. Darauf aufbauend wird die Lernynamik von PEPITA in einem prototypischen "Teacher-Student" Setup analytisch charakterisiert. Die Analyse zeigt, wie die Ausrichtung zwischen Vorwärts- und Rückwärtsgewichten für den Lernerfolg entscheidend ist.
Anschließend werden drei Strategien zur Verbesserung der PEPITA-Leistung untersucht:
- Gewichtsverfall: Führt zu einer Leistungssteigerung von 0,6% auf dem CIFAR-10 Datensatz.
- Aktivierungsnormalisierung: Ermöglicht das Training von Netzen mit bis zu 5 versteckten Schichten, bei einem Leistungsgewinn von 1,1% auf CIFAR-10.
- Gewichtsanpassende Rückkopplung (Weight Mirroring): Verbessert die Ausrichtung zwischen Vorwärts- und Rückwärtsgewichten signifikant und führt zu einer Steigerung der Genauigkeit um 1,3% auf CIFAR-10 und über 2% auf CIFAR-100.
Abschließend wird eine Hebbian-basierte Variante von PEPITA vorgestellt, die Ähnlichkeiten zum Forward-Forward Algorithmus aufweist. Dabei wird gezeigt, dass der Forward-Forward Algorithmus unter bestimmten Annahmen eine Approximation des PEPITA-Hebbian Algorithmus darstellt.
Stats
Die Einträge der Rückkopplungsmatrix F haben eine Standardabweichung von σF = κ/√D, wobei D die Eingangsdimension ist und κ ein konstanter Wert.
Der Fehlervektor e hat eine deutlich kleinere Norm als der Eingabevektor x: ∥Fe∥ ≪ ∥x∥.
Quotes
"Forward-only" Algorithmen, die neuronale Netze trainieren, ohne einen Rückwärtsschritt zu verwenden, haben in letzter Zeit Aufmerksamkeit erregt, da sie die biologisch unrealistischen Aspekte des Backpropagation-Algorithmus umgehen.
"Feedback-Alignment" ersetzt den transponierten Vorwärtsgewichtsvektor W in dem Rückkopplungspfad durch eine zufällige, fixe (nicht lernende) Gewichtsmatrix F, um Fehlerinformationen an frühere Schichten zu übermitteln.