Effiziente und vertrauenswürdige Beantwortung von Fragen durch Großsprachmodelle mit Hilfe von Chain-of-Action
Das Chain-of-Action-Framework (CoA) ermöglicht es Großsprachmodellen, komplexe Fragen durch ein neuartiges Reasoning-Retrieval-Mechanismus zu beantworten. CoA überwindet zwei Hauptherausforderungen aktueller Frage-Antwort-Anwendungen: (i) unzuverlässige Halluzinationen, die nicht mit Echtzeit- oder Domänenfakten übereinstimmen, und (ii) schwache Reasoning-Leistung bei der Verarbeitung von zusammengesetzten Informationen.
Wie die Präsentation von Erklärungen die Wirksamkeit des menschlichen Feedbacks und die Nutzerwahrnehmung beeinflusst
Verschiedene Formate von Rationales (Erklärungen), die von Frage-Antwort-Modellen generiert werden, beeinflussen, wie leicht es für Nutzer ist, Feedback zu geben und wie gut Modelle dieses Feedback umsetzen können. Bestimmte Rationale-Formate können auch das Verständnis und Vertrauen der Nutzer in die Modellausgaben verbessern.
TriviaHG: Ein Datensatz für die automatische Hinweiserstellung aus faktischen Fragen
Dieser Artikel stellt einen Rahmen für die automatische Erstellung von Hinweisen für faktische Fragen vor und verwendet ihn, um den TriviaHG-Datensatz zu erstellen, der 160.230 Hinweise für 16.645 Fragen aus dem TriviaQA-Datensatz enthält. Außerdem wird eine automatische Bewertungsmethode präsentiert, die die Konvergenz- und Vertrautheitseigenschaften von Hinweisen misst.
Effiziente Aktivierung des internen Wissens von Großsprachmodellen durch Vorstellungskraft-gesteuerte Generierung
Durch die Nutzung der Vorstellungskraft von Großsprachmodellen können deren interne Wissensressourcen effizient aktiviert und für Frage-Antwort-Aufgaben genutzt werden, ohne auf externe Ressourcen angewiesen zu sein.
Evaluierung falscher Annahmen in Fragen mit langer Schwanzverteilung mithilfe synthetischer KF-Datensätze
Falsche Annahmen in Informationsfragen stellen eine Herausforderung für robuste Frage-Antwort-Systeme dar. Bestehende Arbeiten konzentrieren sich auf natürlich vorkommende Fragen, was eine Lücke in der Analyse des Modellverhaltens auf dem langen Schwanz der Verteilung möglicher Fragen lässt. Daher führen wir Syn-(QA)2 ein, einen Satz synthetisch generierter KF-Datensätze, um den Einfluss falscher Annahmen sowohl in Ein-Hop- als auch in Mehr-Hop-Szenarien zu untersuchen.
Wie effektiv ist die Ergänzung von Sprachmodellen durch Informationsabruf? Eine eingehende Analyse
Die Leistungsfähigkeit von Sprachmodellen kann durch den Abruf relevanter externer Informationen verbessert werden, aber dies ist nicht immer der Fall. Die Studie untersucht, wann der Abruf die Leistung steigert und wann nicht, insbesondere in Abhängigkeit von der Popularität der abgefragten Fakten.
Erhöhung der Robustheit von retrieval-basierten Sprachmodellen gegen irreführende Informationen
Bestehende retrieval-basierte Sprachmodelle sind anfällig für Konflikte zwischen den abgerufenen Dokumenten, die irreführende oder falsche Informationen enthalten. Dieser Ansatz verbessert die Robustheit, indem er die Diskriminierungsfähigkeiten der Modelle stärkt, um zuverlässige Informationen zu erkennen und zu nutzen.