In dieser Studie wird eine Methode namens RE-EX vorgestellt, die darauf abzielt, faktische Fehler in von Großsprachmodellen (LLMs) generierten Texten zu erkennen und zu korrigieren. RE-EX besteht aus drei Schritten:
Evidenzsammlung: Zunächst werden mithilfe externer Werkzeuge Unterfragen zum Ausgangstext generiert und die dazugehörigen Antworten aus externen Quellen abgerufen. Diese Frage-Antwort-Paare dienen als Evidenz für mögliche faktische Fehler.
Fehlererklärung: Im nächsten Schritt wird das LLM angewiesen, die in der Ausgangsantwort enthaltenen faktischen Fehler basierend auf den gesammelten Evidenzen zu erklären.
Überarbeitung: Abschließend wird das LLM aufgefordert, die Ausgangsantwort unter Verwendung der zuvor erstellten Fehlererklärungen zu überarbeiten.
Im Vergleich zu bestehenden Methoden wie FacTool, CoVE und RARR erzielt RE-EX bessere Ergebnisse bei der Erkennung und Korrektur von faktischen Fehlern, bei gleichzeitig geringerem Zeitaufwand und Tokenverbrauch. Die Zwischenschritte der Fehlererklärung erweisen sich dabei als entscheidend für die Verbesserung der Leistung.
Para outro idioma
do conteúdo fonte
arxiv.org
Principais Insights Extraídos De
by Juyeon Kim,J... às arxiv.org 04-15-2024
https://arxiv.org/pdf/2402.17097.pdfPerguntas Mais Profundas