Conceitos Básicos
Die Verwendung von Maschineller Übersetzung als Fortsetzungstraining für Mehrsprachige Sprachmodelle führt nicht zu einer Verbesserung der Leistung bei Cross-Lingual-Transfer-Aufgaben. Stattdessen zeigt sich, dass die Separierbarkeit der Ausgaben, die für die Maschinelle Übersetzung vorteilhaft ist, in anderen Anwendungen eher hinderlich sein kann.
Resumo
Die Studie untersucht, ob die Verwendung von Maschineller Übersetzung (MT) als Fortsetzungstraining (Continued Pretraining, CP) die Leistung von Mehrsprachigen Sprachmodellen bei Cross-Lingual-Transfer-Aufgaben verbessern kann.
Die Autoren vergleichen die Leistung verschiedener Mehrsprachiger Sprachmodelle, darunter mBART-basierte MT-Modelle, auf Standard-Benchmarks für Cross-Lingual-Verständnisaufgaben. Die Ergebnisse zeigen, dass die MT-Fortsetzungsmodelle in den meisten Fällen schlechter abschneiden als die reinen Sprachmodelle.
Die Autoren analysieren die Repräsentationen der Modelle und finden, dass die MT-Fortsetzungsmodelle zwar ähnlichere Repräsentationen zu ihrem Ausgangspunkt mBART aufweisen, aber insgesamt eine stärkere Separierung der Ausgaben für verschiedene Sprachen lernen. Dies ist zwar vorteilhaft für die Maschinelle Übersetzung, kann aber in anderen Anwendungen hinderlich sein, da die Modelle dann schwerer an neue Aufgaben angepasst werden können.
Insgesamt zeigt die Studie, dass die explizite Ausrichtung auf Satzebene, die für die Maschinelle Übersetzung vorteilhaft ist, der Cross-Lingual-Repräsentationslernung eher schadet. Dies hat wichtige Implikationen für zukünftige Studien zum Cross-Lingual-Transfer-Lernen.
Estatísticas
Die Verwendung von Maschineller Übersetzung als Fortsetzungstraining führt zu größeren Singulärwerten in den Gewichtsmatrizen der Modelle, was auf eine stärkere Skalierung und Separierung der Ausgaben hindeutet.
Citações
"Contrary to expectations, machine translation as the continued training fails to enhance cross-lingual representation learning in multiple cross-lingual natural language understanding tasks."
"We conclude that explicit sentence-level alignment in the cross-lingual scenario is detrimental to cross-lingual transfer pretraining, which has important implications for future cross-lingual transfer studies."