Die Studie untersucht die Aufmerksamkeitsmuster in großen Sprachmodellen (LLMs) und entwickelt einen neuartigen Algorithmus, um die verzerrte Aufmerksamkeitsverteilung zu korrigieren. Dies ermöglicht es den Modellen, ihr implizit komprimiertes Wissen besser zu abstrahieren und ihre Schlussfolgerungsfähigkeiten, insbesondere in nicht-MINT-Bereichen, zu verbessern.
Die Autoren beginnen mit der Feinjustierung eines LLMs auf einen domänenspezifischen, strukturierten Datensatz, um die Komplexität des Modells zu reduzieren und eine fokussierte Analyse seiner inneren Mechanismen zu ermöglichen. Die Analyse der Aufmerksamkeitsmuster in den verschiedenen Schichten des Modells zeigt, dass die mittleren Schichten eine konzentrierte Aufmerksamkeit auf bestimmte Tokens aufweisen, während die oberen Schichten eine feinkörnigere Aufmerksamkeit auf lokale und langfristige Tokens zeigen.
Basierend auf diesen Erkenntnissen entwickeln die Autoren einen Algorithmus, der die Aufmerksamkeitsmuster der oberen Schichten in den nachfolgenden Schichten nachbildet, um die verzerrte Aufmerksamkeitsverteilung auszugleichen. Durch die Anwendung dieses Algorithmus ohne zusätzliches Training zeigen die Autoren, dass die Modelle ihre Schlussfolgerungsfähigkeiten, insbesondere in nicht-MINT-Bereichen, signifikant verbessern können.
Die Studie liefert wichtige Erkenntnisse über die Rolle von Aufmerksamkeitsmustern in der Schlussfolgerungsfähigkeit von LLMs und präsentiert einen Ansatz, um diese Fähigkeiten ohne zusätzliche Trainingsdaten zu erweitern. Die Ergebnisse eröffnen neue Möglichkeiten für die Entwicklung leistungsfähigerer und vielseitigerer Sprachmodelle.
다른 언어로
소스 콘텐츠 기반
arxiv.org
더 깊은 질문