In dieser Studie wird eine Methode namens RE-EX vorgestellt, die darauf abzielt, faktische Fehler in von Großsprachmodellen (LLMs) generierten Texten zu erkennen und zu korrigieren. RE-EX besteht aus drei Schritten:
Evidenzsammlung: Zunächst werden mithilfe externer Werkzeuge Unterfragen zum Ausgangstext generiert und die dazugehörigen Antworten aus externen Quellen abgerufen. Diese Frage-Antwort-Paare dienen als Evidenz für mögliche faktische Fehler.
Fehlererklärung: Im nächsten Schritt wird das LLM angewiesen, die in der Ausgangsantwort enthaltenen faktischen Fehler basierend auf den gesammelten Evidenzen zu erklären.
Überarbeitung: Abschließend wird das LLM aufgefordert, die Ausgangsantwort unter Verwendung der zuvor erstellten Fehlererklärungen zu überarbeiten.
Im Vergleich zu bestehenden Methoden wie FacTool, CoVE und RARR erzielt RE-EX bessere Ergebnisse bei der Erkennung und Korrektur von faktischen Fehlern, bei gleichzeitig geringerem Zeitaufwand und Tokenverbrauch. Die Zwischenschritte der Fehlererklärung erweisen sich dabei als entscheidend für die Verbesserung der Leistung.
Başka Bir Dile
kaynak içeriğinden
arxiv.org
Önemli Bilgiler Şuradan Elde Edildi
by Juyeon Kim,J... : arxiv.org 04-15-2024
https://arxiv.org/pdf/2402.17097.pdfDaha Derin Sorular