Core Concepts
Eine Dichotomie von impliziten Verzerrungen in frühen und späten Phasen des Trainingsprozesses kann zu einem überraschenden Grokking-Phänomen führen, bei dem neuronale Netze zunächst die Trainingsdaten perfekt memorieren, aber dann plötzlich eine perfekte Generalisierung auf Testdaten erreichen.
Abstract
Der Artikel untersucht das Grokking-Phänomen in theoretischen Setups und zeigt, dass es durch eine Dichotomie von impliziten Verzerrungen in frühen und späten Phasen des Trainingsprozesses induziert werden kann.
Konkret wird gezeigt, dass beim Training homogener neuronaler Netze mit großer Initialisierung und kleinem Gewichtsverfall sowohl für Klassifikations- als auch für Regressionsprobleme der Trainingsprozess zunächst in einer Lösung hängen bleibt, die einem Kernel-Prädiktor entspricht. Nach einer sehr scharfen Übergangsphase konvergiert der Gradient Flow dann jedoch zu min-Norm/max-Margin-Prädiktoren, was zu einem dramatischen Wechsel in der Testgenauigkeit führt.
Die Autoren liefern konkrete Beispiele für dieses Verhalten bei linearer Klassifikation mit diagonalen linearen Netzen und bei Matrixergänzung mit überparametrisierten Modellen. Darüber hinaus zeigen sie, dass das umgekehrte Phänomen, das "Misgrokking" genannt wird, ebenfalls auftreten kann, wenn die frühe und späte Phase implizite Verzerrungen in die entgegengesetzte Richtung induzieren.
Stats
Die Trainingsdaten können durch einen 3-dünn besetzten Gewichtsvektor linear separiert werden.
Die Trainingsdaten können durch einen Gewichtsvektor mit großer L2-Marge linear separiert werden.
Quotes
Keine relevanten Zitate gefunden.