Dieser Artikel stellt ein neuartiges Verfahren zur lexikalischen Vereinfachung vor, das ohne parallele Korpora auskommt. Das Verfahren besteht aus zwei Modulen: Adversarisches Bearbeiten und Schwierigkeitsgesteuertes Füllen.
Das Adversarische Bearbeiten-Modul verwendet ein adversarisches Bearbeitungssystem, um einen Bearbeitungsvorhersager zu trainieren, der lexikalische Änderungen in Originalsätzen vorhersagt. Dabei werden ein Verwirrungsverlust, ein Invarianzverlust und ein LLM-gestützter Verlust verwendet, um die Vorhersage zu steuern und ein Gleichgewicht zwischen Semantikerhalt und Vereinfachungsgrad zu finden.
Das Schwierigkeitsgesteuertes Füllen-Modul verwendet dann die Ausgabe des Bearbeitungsvorhersagers, um komplexe Wörter in den Sätzen zu maskieren und die maskierten Positionen mit einfacheren Wörtern zu ersetzen.
Die Experimente auf drei Benchmark-Datensätzen für lexikalische Vereinfachung zeigen, dass das vorgeschlagene Verfahren effektiv ist und sogar mit deutlich kleineren Parametergrößen vergleichbare Ergebnisse wie leistungsstarke Sprachmodelle erzielt.
In eine andere Sprache
aus dem Quellinhalt
arxiv.org
Wichtige Erkenntnisse aus
by Keren Tan,Ka... um arxiv.org 03-25-2024
https://arxiv.org/pdf/2402.14704.pdfTiefere Fragen