Core Concepts
Selbst wenn Sprachmodelle ideal trainiert werden, müssen sie aufgrund statistischer Notwendigkeiten Halluzinationen erzeugen.
Abstract
Die Studie zeigt, dass selbst wenn Sprachmodelle ideal trainiert werden, sie aufgrund statistischer Notwendigkeiten Halluzinationen erzeugen müssen. Dies liegt daran, dass die Modelle kalibriert sein müssen, um gute Vorhersagen zu treffen. Eine Kalibrierung bedeutet, dass die Wahrscheinlichkeiten der Modelle als akkurate Konfidenzwerte interpretiert werden können.
Die Autoren beweisen, dass kalibrierte Sprachmodelle eine untere Schranke für die Halluzinationsrate aufweisen müssen. Diese hängt von der Anzahl der Fakten ab, die genau einmal im Trainingsdatensatz vorkommen (Good-Turing-Schätzung). Je mehr einmalige Fakten es gibt, desto höher muss die Halluzinationsrate sein.
Die Analyse zeigt, dass es keinen statistischen Grund gibt, warum Sprachmodelle auf systematische Fakten wie Rechenoperationen halluzinieren müssen. Stattdessen legen die Ergebnisse nahe, dass Halluzinationen vor allem bei arbiträren Fakten wie Personennamen, Orte oder Ereignisse auftreten werden.
Stats
Der Anteil der Fakten, die genau einmal im Trainingsdatensatz vorkommen, ist eine untere Schranke für die Halluzinationsrate des Sprachmodells.
Je mehr einmalige Fakten es gibt, desto höher muss die Halluzinationsrate sein.
Systematische Fakten wie Rechenoperationen müssen nicht zwangsläufig halluziniert werden.
Quotes
"Selbst wenn diese Wahrscheinlichkeit klein ist, werden Halluzinationen selten sein."
"Jedes Verteilungsmodell kann äquivalent durch seine Log-Wahrscheinlichkeiten über gesamte Sequenzen oder bedingte Log-Wahrscheinlichkeiten des nachfolgenden Tokens dargestellt werden, obwohl Vorhersage und Generierung unterschiedliche Ziele haben."