Die Studie untersucht das kontinuierliche Lernen von Dialoggenerierungsmodellen, bei dem neue Aufgaben/Domänen inkrementell hinzugefügt werden, ohne das Modell von Grund auf neu trainieren zu müssen. Eine Hauptherausforderung ist das katastrophale Vergessen, bei dem Modelle Wissen aus zuvor trainierten Aufgaben/Domänen verlieren, wenn sie auf neue Aufgaben/Domänen trainiert werden.
Die Autoren schlagen einen neuartigen Ansatz vor, der zwei Komponenten umfasst:
Text-Mixup als Datenerweiterung: Durch lineare Interpolation zwischen Beispielen aus vorherigen Aufgaben/Domänen und der aktuellen Aufgabe/Domäne wird Überanpassung an den begrenzten Wiedergabespeicher vermieden und die Generalisierungsfähigkeit verbessert.
Batch-Nuclear-Norm-Maximierung (BNNM): Durch die Maximierung der Batch-Nuclear-Norm wird eine höher-dimensionale Merkmalsrepräsentation gelernt, was die Repräsentationsvielfalt zwischen Aufgaben/Domänen erhöht und so das Problem des Modekollaps abmildert.
Die Experimente auf einem 37-Domänen-Datensatz für aufgabenorientierte Dialoge und dem 10-Domänen-Chitchat-Datensatz DailyDialog zeigen, dass der vorgeschlagene Ansatz die Leistung des Stands der Technik beim kontinuierlichen Lernen übertrifft.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Zihan Wang,J... at arxiv.org 03-19-2024
https://arxiv.org/pdf/2403.10894.pdfDeeper Inquiries