Die Studie untersucht das oft übersehene Problem der Positionsverzerrung in Encoder-Modellen, insbesondere bei Token-Klassifizierungsaufgaben wie Named Entity Recognition (NER) und Part-of-Speech (POS) Tagging.
Die Autoren analysieren die Positionsverteilung in gängigen Benchmarks wie CoNLL03, OntoNotes5.0, UD_en und TweeBank und zeigen, dass die Modelle bei Tokens in ungewöhnlichen Positionen schlechter abschneiden.
Um dieses Problem zu adressieren, schlagen die Autoren zwei Methoden vor: "Random Position Perturbation" und "Context Perturbation". Diese Methoden führen zu einer Verbesserung der Modellleistung um etwa 2% auf den untersuchten Benchmarks, indem sie die Positionsverzerrung während des Trainings abmildern.
Die Studie liefert wichtige Erkenntnisse zu Positionsverzerrung in Sprachmodellen und praktische Lösungen, um die Robustheit dieser Modelle bei Token-Klassifizierungsaufgaben zu verbessern.
To Another Language
from source content
arxiv.org
Deeper Inquiries