Die Studie untersucht, inwieweit die einfachsten projektiven Debiasing-Methoden, die für Worteinbettungen entwickelt wurden, auch bei der Anwendung auf die internen Darstellungen von BERT helfen können. Die Autoren evaluieren die Wirksamkeit der Methoden bei der Reduzierung sowohl der intrinsischen Voreingenommenheit, gemessen durch BERTs Aufgabe der Vorhersage des nächsten Satzes, als auch der beobachteten Voreingenommenheit in einer nachgelagerten Einstellung bei feiner Abstimmung.
Zu diesem Zweck liefern die Autoren auch eine kritische Analyse eines beliebten Tests zur Bewertung geschlechtsspezifischer Voreingenommenheit, um den Test zu verbessern und neue Maße für die Voreingenommenheit einzuführen.
Die Ergebnisse zeigen, dass projektive Methoden sowohl bei der intrinsischen als auch bei der nachgelagerten Voreingenommenheit effektiv sein können, aber die beiden Ergebnisse nicht notwendigerweise korreliert sind. Dies ist eine wichtige Beobachtung, da Debiasing-Schemata für Sprachtransformationsmodelle normalerweise nur anhand von vorhersagebasierten intrinsischen Aufgaben bewertet werden.
다른 언어로
소스 콘텐츠 기반
arxiv.org
더 깊은 질문