Core Concepts
Wir präsentieren ein Modell zur Fragengeneration in wissensbasierten Dialogen, das statt einer direkten Fragengenerierung sequenziell zunächst einen Fakt und dann eine Frage vorhersagt. Dieses Vorgehen ermöglicht eine detaillierte referenzlose Bewertung des Modellverhaltens in Bezug auf Relevanz, Faktizität und Pronominalisierung.
Abstract
Die Arbeit untersucht die Fragengeneration in wissensbasierten Dialogen und konzentriert sich dabei auf Erklärbarkeit und Bewertung. Inspiriert von früheren Arbeiten zur planungsbasierten Zusammenfassung präsentieren die Autoren ein Modell, das anstelle einer direkten Fragengenerierung sequenziell zunächst einen Fakt und dann eine Frage vorhersagt.
Das Modell wird auf 37.000 Testdialogen aus dem KGConv-Datensatz evaluiert. Die Ergebnisse zeigen, dass das Modell, obwohl es anspruchsvoller in Bezug auf die Inferenz ist, eine ähnliche Leistung wie ein Standardmodell erzielt, das nur eine Frage generiert, aber eine detaillierte referenzlose Bewertung des Modellverhaltens in Bezug auf Relevanz, Faktizität und Pronominalisierung ermöglicht.
Die Autoren untersuchen vier verschiedene Arten von Dialogkontexten und zeigen, dass die Einbeziehung von Fragen und Antworten oder von Fakten entscheidend ist, um die Kohärenz aufrechtzuerhalten. Außerdem zeigen sie, dass Pronomen oft mehrdeutig sind. Ein Vergleich mit einem Standard-Fragengenierungsmodell ergibt, dass das vorgestellte Modell trotz seiner Erklärbarkeit eine ähnliche Leistung erzielt.
Stats
92% der generierten Fakten sind inkorrekt, wenn der Wissenskontext abgelöst wird.
81% der inkorrekt generierten Fakten enthalten Entitäten und Eigenschaften, die im Wissenskontext vorhanden sind, aber in einer nicht existierenden Kombination.
46% der generierten Fragen sind Wiederholungen, wenn der Dialogkontext abgelöst wird.
Quotes
Keine relevanten Zitate gefunden.