Die Studie untersucht den Einfluss kultureller Unterschiede auf die Annotation von Hassrede-Inhalten in englischer Sprache. Dafür wird der CREHate-Datensatz erstellt, der 1.580 Online-Beiträge aus fünf englischsprachigen Ländern (Australien, Großbritannien, Singapur, USA, Südafrika) umfasst. Die Annotation erfolgt durch Personen aus diesen fünf Ländern.
Die Analyse zeigt, dass es signifikante Unterschiede in den Hassrede-Annotationen zwischen den Ländern gibt. Nur 56,2% der Beiträge erzielen eine einheitliche Zustimmung über alle Länder hinweg, und die durchschnittliche paarweise Übereinstimmung beträgt 78,8%, mit einer maximalen Abweichung von 26,0%. Die Gründe für die Meinungsunterschiede liegen vor allem in unterschiedlichen Interpretationen von Sarkasmus und in den persönlichen Voreingenommenheiten der Annotatorinnen und Annotatoren zu kontroversen Themen.
Darüber hinaus zeigt sich, dass große Sprachmodelle (LLMs) tendenziell höhere Genauigkeiten bei den Kernländern der anglophonen Welt aufweisen. Dies deutet auf Einschränkungen dieser Modelle bei der kulturspezifischen Hassrede-Klassifizierung hin.
他の言語に翻訳
原文コンテンツから
arxiv.org
深掘り質問