In diesem Artikel wird ein Mix-Initiative Dynamic Prefix Tuning (IDPT)-Modell vorgestellt, das darauf abzielt, die Initiative-Faktoren in Dialogsystemen effektiv zu berücksichtigen. Das Modell teilt die Initiative-Faktoren in separate Präfix-Parameter auf, um die Generierung von Antworten mit gemischter Initiative zu ermöglichen.
Das Modell besteht aus drei Hauptkomponenten: einem Dialogenkodierer, einem Initiative-Erkenner und einem Präfix-basierten Antwortgenerator. Der Initiative-Erkenner nutzt einen Multi-Head-Attention-Mechanismus, um die potenzielle Initiative in der nachfolgenden Antwortgenerierung zu erkennen. Der Antwortgenerator verwendet dann entweder harte Aufmerksamkeit (IDPT-HA) oder weiche Aufmerksamkeit (IDPT-SA), um die Initiative-spezifischen Präfixe dynamisch zu kombinieren.
Die Experimente auf zwei öffentlichen Dialogdatensätzen zeigen, dass das vorgeschlagene IDPT-Modell die Baseline-Methoden sowohl in automatischen Metriken als auch in menschlichen Bewertungen übertrifft. Das Modell kann auch geeignete Antworten mit manipulierten Initiativen generieren.
Til et annet språk
fra kildeinnhold
arxiv.org
Viktige innsikter hentet fra
by Yuxiang Nie,... klokken arxiv.org 03-27-2024
https://arxiv.org/pdf/2403.17636.pdfDypere Spørsmål