In dieser Studie wird eine Methode namens RE-EX vorgestellt, die darauf abzielt, faktische Fehler in von Großsprachmodellen (LLMs) generierten Texten zu erkennen und zu korrigieren. RE-EX besteht aus drei Schritten:
Evidenzsammlung: Zunächst werden mithilfe externer Werkzeuge Unterfragen zum Ausgangstext generiert und die dazugehörigen Antworten aus externen Quellen abgerufen. Diese Frage-Antwort-Paare dienen als Evidenz für mögliche faktische Fehler.
Fehlererklärung: Im nächsten Schritt wird das LLM angewiesen, die in der Ausgangsantwort enthaltenen faktischen Fehler basierend auf den gesammelten Evidenzen zu erklären.
Überarbeitung: Abschließend wird das LLM aufgefordert, die Ausgangsantwort unter Verwendung der zuvor erstellten Fehlererklärungen zu überarbeiten.
Im Vergleich zu bestehenden Methoden wie FacTool, CoVE und RARR erzielt RE-EX bessere Ergebnisse bei der Erkennung und Korrektur von faktischen Fehlern, bei gleichzeitig geringerem Zeitaufwand und Tokenverbrauch. Die Zwischenschritte der Fehlererklärung erweisen sich dabei als entscheidend für die Verbesserung der Leistung.
他の言語に翻訳
原文コンテンツから
arxiv.org
深掘り質問