Core Concepts
Bestehende retrieval-basierte Sprachmodelle sind anfällig für Konflikte zwischen den abgerufenen Dokumenten, die irreführende oder falsche Informationen enthalten. Dieser Ansatz verbessert die Robustheit, indem er die Diskriminierungsfähigkeiten der Modelle stärkt, um zuverlässige Informationen zu erkennen und zu nutzen.
Abstract
Die Studie untersucht die Anfälligkeit von retrieval-basierten Sprachmodellen wie FiD und GPT-3.5 gegenüber widersprüchlichen Informationen in abgerufenen Dokumenten. Die Autoren stellen fest, dass diese Modelle sehr empfindlich auf Konflikte zwischen den Dokumenten reagieren, selbst wenn ein korrektes Dokument vorhanden ist.
Um dies zu verbessern, schlagen die Autoren zwei Ansätze vor:
Feintunning eines Diskriminators, der zusammen mit dem Hauptmodell trainiert wird. Dieser Diskriminator lernt, zwischen authentischen und verfälschten Dokumenten zu unterscheiden, und hilft dem Hauptmodell, sich auf zuverlässige Informationen zu konzentrieren.
Instruktionsbasierter Ansatz für GPT-3.5, bei dem das Modell explizit aufgefordert wird, verfälschte Dokumente zu identifizieren, bevor es eine Antwort generiert. Darüber hinaus kombinieren die Autoren den feingejusteten Diskriminator mit dem GPT-3.5-Modell, um die Stärken beider Ansätze zu nutzen.
Die Ergebnisse zeigen, dass beide Ansätze die Robustheit der Modelle gegenüber widersprüchlichen Informationen deutlich verbessern. Darüber hinaus stellen die Autoren einen neuen, von GPT-4 generierten Benchmark-Datensatz (MACNOISE) vor, der realistischere Konfliktszenarios abbildet als die bisher verwendeten synthetischen Datensätze.
Stats
Die Leistung der Semi-Parametric-Modelle von FiD und GPT-3.5 sinkt deutlich, wenn der Anteil der verfälschten Dokumente zunimmt, selbst wenn das korrekte Dokument vorhanden ist.
Die Leistung des Semi-Parametric-Modells von GPT-3.5 ist in einem stark verfälschten Szenario (35%) sogar schlechter als das rein parametrische Modell ohne Abruf.
Quotes
"Bestehende retrieval-basierte Sprachmodelle sind hochgradig spröde gegenüber der Präsenz widersprüchlicher Informationen sowohl im Fine-Tuning als auch im In-Context-Few-Shot-Learning-Szenario."
"Unsere empirischen Ergebnisse auf dem Gebiet der offenen Domänen-Frage-Beantwortung zeigen, dass diese Ansätze die Modellrobustheit deutlich verbessern."