In dieser Arbeit wird Benutzerplauderei als störendes Element in aufgabenorientierten Dialogen (TODs) dargestellt. Um dieses Problem anzugehen, wird ein neuartiger Datensatz erstellt, indem Benutzerbiografien automatisch zu bestehenden TOD-Dialogen hinzugefügt werden.
Der Datensatz wird verwendet, um die Leistung von zwei Basismodellen zu testen: eines, das nur auf TODs trainiert wurde, und eines, das auf TODs mit einer vorgeschalteten Plauderei-Interaktion trainiert wurde. Die Analyse zeigt, dass der erweiterte Datensatz eine Herausforderung für diese Systeme darstellt. Darüber hinaus wird gezeigt, dass der Datensatz effektiv für Trainingszwecke verwendet werden kann, um ein System zu befähigen, die Benutzerbiografie konsistent anzuerkennen und gleichzeitig die Aufgabe im selben Zug voranzubringen, wie durch eine Humanevaluierung bestätigt wird.
Diese Erkenntnisse heben die Vorteile der Generierung neuartiger Plauderei-TOD-Szenarien hervor, um TOD-Systeme gründlicher zu testen und ihre Widerstandsfähigkeit gegenüber natürlichen Benutzerstörungen zu verbessern.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Armand Stric... at arxiv.org 03-26-2024
https://arxiv.org/pdf/2402.15248.pdfDeeper Inquiries