Detaillierte Analyse der Mechanismen zur Faktenrückgewinnung in Transformer-basierten Sprachmodellen

Transformer-basierte Sprachmodelle verwenden spezifische Aufmerksamheitsköpfe, um Argumente aus dem Kontext zu extrahieren, und nachfolgende MLP-Schichten, um diese Argumente zu aktivieren und eine implizite Funktion anzuwenden, um die richtigen Antworten zu generieren. Zusätzlich nutzen die Modelle einen universellen Anti-Übervertrauens-Mechanismus in der letzten Schicht, um korrekte Vorhersagen zu unterdrücken.