Core Concepts
Unterschiedliche Tokenisierungsschemata für spanische Pluralformen führen zu ähnlicher Leistung bei der Vorhersage der korrekten Artikelform, auch wenn künstlich morphembasierte Tokenisierungen verwendet werden.
Abstract
Die Studie untersucht, wie sich verschiedene Tokenisierungsschemata für spanische Pluralformen auf die Leistung eines Sprachmodells (BETO) bei der Vorhersage der korrekten Artikelform auswirken. Es werden drei Tokenisierungsarten verglichen: Einzeltoken-Plurale, morphemisch tokenisierte Plurale und nicht-morphemisch tokenisierte Plurale.
Die Ergebnisse zeigen, dass alle Tokenisierungsschemata eine hohe Genauigkeit bei der Artikelvorhersage erreichen, wobei Einzeltoken-Plurale leicht besser abschneiden. Selbst wenn Pluralformen künstlich in morphemische Tokenisierungen umgewandelt werden, erreichen sie eine erfolgreiche Artikelvorhersage, wenn auch etwas schlechter als die ursprünglichen Tokenisierungen.
Eine explorative Analyse der Worteinbettungen zeigt, dass es Achsen im Repräsentationsraum gibt, die Singular- und Pluralformen gut unterscheiden können, während andere Achsen die verschiedenen Pluralformen voneinander separieren. Dies deutet darauf hin, dass das Sprachmodell ähnliche Mechanismen zur Numeruskongruenz für die unterschiedlichen Pluralformen nutzt, auch wenn es leichte Unterschiede in der internen Repräsentation gibt.
Insgesamt legen die Ergebnisse nahe, dass morphembasierte Tokenisierung nicht zwingend erforderlich ist, um eine gute Leistung bei der Numeruskongruenz zu erreichen, da das Sprachmodell die Muster auch ohne explizite morphologische Informationen lernen kann.
Stats
Die Genauigkeit der Artikelvorhersage lag für Pluralformen bei über 95% für alle Tokenisierungsschemata.
Quotes
"Unsere Ergebnisse deuten darauf hin, dass morphembasierte Tokenisierung nicht zwingend erforderlich ist, um eine gute Leistung bei der Numeruskongruenz zu erreichen, da das Sprachmodell die Muster auch ohne explizite morphologische Informationen lernen kann."