In diesem Artikel wird ein Mix-Initiative Dynamic Prefix Tuning (IDPT)-Modell vorgestellt, das darauf abzielt, die Initiative-Faktoren in Dialogsystemen effektiv zu berücksichtigen. Das Modell teilt die Initiative-Faktoren in separate Präfix-Parameter auf, um die Generierung von Antworten mit gemischter Initiative zu ermöglichen.
Das Modell besteht aus drei Hauptkomponenten: einem Dialogenkodierer, einem Initiative-Erkenner und einem Präfix-basierten Antwortgenerator. Der Initiative-Erkenner nutzt einen Multi-Head-Attention-Mechanismus, um die potenzielle Initiative in der nachfolgenden Antwortgenerierung zu erkennen. Der Antwortgenerator verwendet dann entweder harte Aufmerksamkeit (IDPT-HA) oder weiche Aufmerksamkeit (IDPT-SA), um die Initiative-spezifischen Präfixe dynamisch zu kombinieren.
Die Experimente auf zwei öffentlichen Dialogdatensätzen zeigen, dass das vorgeschlagene IDPT-Modell die Baseline-Methoden sowohl in automatischen Metriken als auch in menschlichen Bewertungen übertrifft. Das Modell kann auch geeignete Antworten mit manipulierten Initiativen generieren.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Yuxiang Nie,... at arxiv.org 03-27-2024
https://arxiv.org/pdf/2403.17636.pdfDeeper Inquiries