Die Autoren untersuchen Verlustfunktionen für die Faktenüberprüfung in der FEVER-Aufgabe. Während die Kreuzentropieverlustfunktion ein standardmäßiges Ziel für das Training von Urteilsvorhersagern ist, erfasst sie die Heterogenität der FEVER-Urteilsklassen nicht.
Die Autoren entwickeln zwei aufgabenspezifische Verlustfunktionen, die auf FEVER zugeschnitten sind:
SRN-Verlustfunktion: Diese kombiniert die Kreuzentropieverlustfunktion mit einem zusätzlichen Term, der die Widersprüchlichkeit zwischen den Klassen "Unterstützt" und "Widerlegt" berücksichtigt.
SR-Verlustfunktion: Diese fokussiert sich ausschließlich auf die Widersprüchlichkeit zwischen den Klassen "Unterstützt" und "Widerlegt" und ignoriert die Klasse "Nicht genug Informationen".
Die Experimente zeigen, dass die vorgeschlagenen Verlustfunktionen die Standardkreuzentropieverlustfunktion übertreffen. Die Leistung wird weiter verbessert, wenn diese Verlustfunktionen mit einfacher Klassengewichtung kombiniert werden, was das Ungleichgewicht in den Trainingsdaten effektiv überwindet.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Yuta Mukobar... at arxiv.org 03-14-2024
https://arxiv.org/pdf/2403.08174.pdfDeeper Inquiries