Wie Berichterstattungsvoreingenommenheit die Messung von Voreingenommenheit in Sprachmodellen beeinflussen kann

Sprachmodelle, die auf umfangreichen, unbearbeiteten Datensätzen aus dem Internet trainiert werden, können Voreingenommenheiten aufweisen, die sich in verschiedenen Formen manifestieren. Eine gängige Methode zur Quantifizierung von Voreingenommenheit ist die Verwendung von vorlagenbasierten Bias-Tests, die die Gruppenzugehörigkeit explizit angeben. Die Ergebnisse dieser Studie deuten darauf hin, dass diese Methode zu irreführenden Messungen führen kann, da sie nicht die Berichterstattungsvoreingenommenheit in den Trainingsdaten der Sprachmodelle berücksichtigt.