In diesem Artikel wird ein Mix-Initiative Dynamic Prefix Tuning (IDPT)-Modell vorgestellt, das darauf abzielt, die Initiative-Faktoren in Dialogsystemen effektiv zu berücksichtigen. Das Modell teilt die Initiative-Faktoren in separate Präfix-Parameter auf, um die Generierung von Antworten mit gemischter Initiative zu ermöglichen.
Das Modell besteht aus drei Hauptkomponenten: einem Dialogenkodierer, einem Initiative-Erkenner und einem Präfix-basierten Antwortgenerator. Der Initiative-Erkenner nutzt einen Multi-Head-Attention-Mechanismus, um die potenzielle Initiative in der nachfolgenden Antwortgenerierung zu erkennen. Der Antwortgenerator verwendet dann entweder harte Aufmerksamkeit (IDPT-HA) oder weiche Aufmerksamkeit (IDPT-SA), um die Initiative-spezifischen Präfixe dynamisch zu kombinieren.
Die Experimente auf zwei öffentlichen Dialogdatensätzen zeigen, dass das vorgeschlagene IDPT-Modell die Baseline-Methoden sowohl in automatischen Metriken als auch in menschlichen Bewertungen übertrifft. Das Modell kann auch geeignete Antworten mit manipulierten Initiativen generieren.
לשפה אחרת
מתוכן המקור
arxiv.org
תובנות מפתח מזוקקות מ:
by Yuxiang Nie,... ב- arxiv.org 03-27-2024
https://arxiv.org/pdf/2403.17636.pdfשאלות מעמיקות