Die Studie untersucht den Einfluss von Affixnegation auf moderne englische Sprachmodelle (LLMs). Bei der Affixnegation wird die negierte Bedeutung durch ein negatives Morphem ausgedrückt, was für LLMs eine Herausforderung darstellen kann, da ihre Tokenizer oft nicht morphologisch plausibel sind.
Die Autoren führen umfangreiche Experimente mit LLMs durch, die verschiedene Subwort-Tokenisierungsmethoden verwenden. Dies führt zu mehreren Erkenntnissen über die Wechselwirkung zwischen Tokenisierungsleistung und Negationssensitivität.
Trotz einiger interessanter Diskrepanzen zwischen Tokenisierungsgenauigkeit und Negationserkennung zeigen die Ergebnisse, dass die Modelle die Bedeutung von Affixnegation im Allgemeinen zuverlässig erkennen können.
Die Autoren untersuchen auch den Einfluss von Affixnegation auf Downstream-Aufgaben wie Sentiment-Analyse. Hier zeigt sich, dass Affixnegation zwar ein starkes Signal für negative Stimmung ist, die Modelle aber auch in der Lage sind, andere Bedeutungsaspekte zu erfassen.
Insgesamt liefert die Studie wichtige Erkenntnisse darüber, wie moderne Sprachmodelle mit Affixnegation umgehen und welche Auswirkungen dies auf ihre Leistung haben kann.
To Another Language
from source content
arxiv.org
Viktige innsikter hentet fra
by Thinh Hung T... klokken arxiv.org 04-04-2024
https://arxiv.org/pdf/2404.02421.pdfDypere Spørsmål