Geschlechtsspezifische Verzerrungen in mehrsprachigen maskierten Sprachmodellen können durch einen systematischen Ansatz zur Bewertung und Verbesserung dieser Modelle angegangen werden.
Dieser Artikel stellt eine neuartige Methode zur Erkennung und Verringerung von Geschlechtsvorurteilen in Sprachmodellen vor. Durch eine kausale Analyse werden die Modellkomponenten identifiziert, die am anfälligsten für die Übertragung von Vorurteilen sind. Basierend auf diesen Erkenntnissen wird das Modell durch gezielte Anpassung der Gewichte in diesen Komponenten entzerrt, ohne die Leistung in Downstream-Aufgaben wesentlich zu beeinträchtigen.