Sprachmodelle tendieren dazu, bei unbekannten Konzepten plausible, aber faktisch inkorrekte Antworten zu generieren. Durch gezielte Anpassung der Beispiele in der Feinabstimmungsdaten können diese Halluzinationen kontrolliert werden.
Selbst wenn Sprachmodelle ideal trainiert werden, müssen sie aufgrund statistischer Notwendigkeiten Halluzinationen erzeugen.