Core Concepts
Sprachmodelle zeigen eine starke Tendenz, selbst generierte Kontexte zu bevorzugen, auch wenn diese falsche Informationen enthalten, während abgerufene Kontexte die korrekten Antworten liefern.
Abstract
Die Studie untersucht, wie Sprachmodelle (LLMs) generierte und abgerufene Kontexte kombinieren, um Antworten auf Fragen zu generieren. Dafür wurde ein spezielles Datensatzformat entwickelt, bei dem jede Frage sowohl mit einem generierten als auch einem abgerufenen Kontext verknüpft ist, wobei nur einer der Kontexte die korrekte Antwort enthält.
Die Experimente mit verschiedenen LLMs (GPT-4/3.5, Llama2) zeigen, dass diese Modelle eine starke Tendenz haben, generierte Kontexte zu bevorzugen, selbst wenn diese falsche Informationen enthalten, während die abgerufenen Kontexte die korrekten Antworten liefern.
Zwei Hauptfaktoren, die zu dieser Verzerrung beitragen, wurden identifiziert:
Generierte Kontexte weisen typischerweise eine höhere Ähnlichkeit zu den Fragen auf, was ihre Wahrscheinlichkeit, ausgewählt zu werden, erhöht.
Der Segmentierungsprozess bei abgerufenen Kontexten beeinträchtigt deren semantische Vollständigkeit, was ihre Nutzung durch LLMs erschwert.
Die Analyse bietet wertvolle Erkenntnisse für die Weiterentwicklung von Methoden zur Kontextintegration in LLMs.
Stats
Die generierten Kontexte zeigen typischerweise eine höhere Ähnlichkeit zu den Fragen als die abgerufenen Kontexte.
Der Segmentierungsprozess bei abgerufenen Kontexten kann deren semantische Vollständigkeit beeinträchtigen.
Quotes
"Unsere Experimente offenbaren eine signifikante Verzerrung in mehreren LLMs (GPT-4/3.5 und Llama2), die generierte Kontexte bevorzugen, selbst wenn diese falsche Informationen liefern."
"Unsere Analyse erweitert das Verständnis dafür, wie LLMs diverse Kontexte kombinieren und bietet wertvolle Erkenntnisse für die Weiterentwicklung aktueller Augmentationsmethoden für LLMs."