Die Studie untersucht das Problem der sozialen Voreingenommenheit in Textdaten und Sprachmodellen über mehrere Sprachen hinweg. Sie stellt neue große, gelabelte Datensätze zur Erkennung von Voreingenommenheit in Italienisch, Niederländisch und Deutsch vor und zeigt, dass Voreingenommenheit in allen 10 untersuchten Datensätzen in 5 Sprachen, einschließlich englischer Benchmark-Datensätze, vorhanden ist.
Die Autoren verwenden state-of-the-art mehrsprachige vortrainierte Modelle (mT5 und mBERT) zur Klassifizierung von Voreingenommenheit in den Datensätzen. Sie vergleichen verschiedene Metriken zur Messung von Voreingenommenheit und empfehlen die Verwendung von bipol, einer Metrik, die Erklärbarkeit bietet.
Darüber hinaus bestätigen die Autoren die ungeprüfte Annahme, dass toxische Kommentare Voreingenommenheit enthalten, durch eine manuelle Annotation von 200 zufällig ausgewählten Proben aus einem Trainingsdatensatz.
Die Ergebnisse zeigen, dass Voreingenommenheit in Textdaten und Sprachmodellen weit verbreitet ist und dass Ressourcen zur Schätzung von Voreingenommenheit wichtig sind, um Strategien zur Reduzierung von Voreingenommenheit zu entwickeln.
To Another Language
from source content
arxiv.org
Deeper Inquiries