In diesem Artikel wird ein Mix-Initiative Dynamic Prefix Tuning (IDPT)-Modell vorgestellt, das darauf abzielt, die Initiative-Faktoren in Dialogsystemen effektiv zu berücksichtigen. Das Modell teilt die Initiative-Faktoren in separate Präfix-Parameter auf, um die Generierung von Antworten mit gemischter Initiative zu ermöglichen.
Das Modell besteht aus drei Hauptkomponenten: einem Dialogenkodierer, einem Initiative-Erkenner und einem Präfix-basierten Antwortgenerator. Der Initiative-Erkenner nutzt einen Multi-Head-Attention-Mechanismus, um die potenzielle Initiative in der nachfolgenden Antwortgenerierung zu erkennen. Der Antwortgenerator verwendet dann entweder harte Aufmerksamkeit (IDPT-HA) oder weiche Aufmerksamkeit (IDPT-SA), um die Initiative-spezifischen Präfixe dynamisch zu kombinieren.
Die Experimente auf zwei öffentlichen Dialogdatensätzen zeigen, dass das vorgeschlagene IDPT-Modell die Baseline-Methoden sowohl in automatischen Metriken als auch in menschlichen Bewertungen übertrifft. Das Modell kann auch geeignete Antworten mit manipulierten Initiativen generieren.
Sang ngôn ngữ khác
từ nội dung nguồn
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Yuxiang Nie,... lúc arxiv.org 03-27-2024
https://arxiv.org/pdf/2403.17636.pdfYêu cầu sâu hơn