Conceptos Básicos
Sprachmodelle implementieren manchmal einfache Vektoradditionsmechanismen, um relationale Aufgaben zu lösen, indem sie Regelmäßigkeiten nutzen, die in ihrem versteckten Raum codiert sind.
Resumen
Die Studie untersucht, wie Sprachmodelle (LMs) Informationen während des In-Context-Lernens verarbeiten. Die Autoren finden, dass LMs manchmal einen einfachen Vektoradditionsmechanismus nutzen, um relationale Aufgaben zu lösen, indem sie Regelmäßigkeiten in ihrem versteckten Raum ausnutzen.
Konkret zeigen die Autoren, dass LMs in einem mehrstufigen Prozess vorgehen: Zunächst wird das Argument für eine Transformation in den frühen Schichten dargestellt, bevor die Funktion in den mittleren bis späten Schichten angewendet wird, um die Antwort zu erzeugen. Dieses Muster zeigt sich über verschiedene Modellgrößen und Aufgaben hinweg, wird aber mit zunehmender Modellgröße deutlicher.
Die Autoren untersuchen dann genauer, wie dieser Vektoradditionsmechanismus in den mittleren bis späten Feedforward-Netzwerken (FFNs) des GPT2-Medium-Modells implementiert ist. Sie zeigen, dass die FFN-Ausgabevektoren die entsprechenden Funktionen (z.B. Hauptstadtabruf, Großschreibung, Vergangenheitsform) unabhängig vom Kontext anwenden können.
Schließlich zeigen die Autoren, dass dieser Mechanismus spezifisch für das Abrufen von Informationen aus dem Vortrainingsspeicher ist. Bei Aufgaben, bei denen die Antwort im Kontext gegeben ist, spielt der Mechanismus eine untergeordnete Rolle.
Estadísticas
Die Hauptstädte von Ländern und US-Bundesstaaten können durch einfache Vektoraddition abgerufen werden.
Wörter können durch Vektoraddition in Großbuchstaben umgewandelt werden.
Verben können durch Vektoraddition in die Vergangenheitsform überführt werden.
Citas
"Sprachmodelle implementieren manchmal einfache Vektoradditionsmechanismen, um relationale Aufgaben zu lösen, indem sie Regelmäßigkeiten nutzen, die in ihrem versteckten Raum codiert sind."
"Wir finden Hinweise auf einen distinkten Verarbeitungsablauf in der Vorwärtsphase, der die Argumentfunktionsverarbeitung charakterisiert."
"Wir zeigen, dass dieser Mechanismus spezifisch für das Abrufen von Informationen aus dem Vortrainingsspeicher ist."