Core Concepts
Durch optimale Umformulierung von Eingabeaufforderungen und das Einfügen von [PAUSE]-Tokens kann die Verständnisfähigkeit von Großen Sprachmodellen verbessert und so Halluzinationen vermieden werden.
Abstract
Die Studie untersucht den Einfluss verschiedener linguistischer Merkmale wie Lesbarkeit, Formalität und Konkretheit von Eingabeaufforderungen auf die Halluzinationsanfälligkeit von 21 Großen Sprachmodellen. Es werden vier Hauptarten von Halluzinationen identifiziert: Personen, Orte, Zahlen und Zeitangaben.
Um die Verständnisfähigkeit der Modelle zu verbessern, wird ein Verfahren zur optimalen Umformulierung der Eingabeaufforderungen vorgestellt. Dabei wird die Verständlichkeit anhand der mittleren Wichtigkeit der Wörter (Integrated Gradients) und der Ähnlichkeit der Themen zur Originalaufforderung bewertet.
Darüber hinaus wird das Einfügen von [PAUSE]-Tokens untersucht, um den Leseprozess der Modelle zu unterstützen. Dafür werden die optimalen Positionen und Anzahlen der [PAUSE]-Tokens bestimmt. Außerdem wird ein neuartiges Finetuning-Verfahren namens "Reverse Proxy Tuning" eingeführt.
Die Ergebnisse zeigen, dass sowohl die optimale Umformulierung als auch das Einfügen von [PAUSE]-Tokens die Halluzinationsanfälligkeit der Modelle in allen vier Kategorien reduzieren können.
Stats
Die Lesbarkeit von Eingabeaufforderungen hat einen stärkeren Einfluss auf Halluzinationen als Formalität und Konkretheit.
Eingabeaufforderungen mit Konkretheitswerten zwischen 2,2 und 3,3 sind am effektivsten, um Halluzinationen zu verhindern.
Das Einfügen von [PAUSE]-Tokens an Satzgrenzen und basierend auf der Abstraktheit des Textes verbessert die Verständnisfähigkeit der Modelle.
Quotes
"Halluzination hat sich als der verwundbarste Aspekt zeitgenössischer Großer Sprachmodelle (LLMs) erwiesen."
"LLMs können keine Rückfragen stellen oder Nachfragen für ein besseres Verständnis stellen."