Die Studie führt eine Ökosystem-Analyse von kommerziellen Maschinenlernmodellen durch, um deren Auswirkungen auf Einzelpersonen zu verstehen. Anstatt einzelne Modelle zu analysieren, betrachtet die Ökosystem-Analyse die Gesamtheit der Modelle, die in einem bestimmten Kontext eingesetzt werden.
Die Ergebnisse zeigen, dass kommerzielle Maschinenlernmodelle in verschiedenen Anwendungsgebieten (Sprache, Bilder, Sprache) dazu neigen, homogene Ergebnisse zu produzieren. Das bedeutet, dass einige Nutzer von allen Modellen falsch klassifiziert werden (systematische Fehler), während andere von allen Modellen richtig klassifiziert werden.
Selbst wenn sich einzelne Modelle im Laufe der Zeit verbessern, konzentrieren sich diese Verbesserungen meist auf Personen, die bereits von anderen Modellen richtig klassifiziert werden. Nur ein geringer Anteil der Verbesserungen betrifft Personen, die zuvor von allen Modellen falsch klassifiziert wurden.
Die Studie zeigt auch, dass die Ökosystem-Analyse neue Formen rassischer Ungleichheit in Modellvorhersagen aufdecken kann, die bei menschlichen Vorhersagen nicht auftreten. Im Bereich der medizinischen Bildgebung zeigen Modelle eine stärkere Homogenität bei der Bewertung von Bildern mit dunkleren Hauttönen, während menschliche Vorhersagen über Hauttöne hinweg konsistent sind.
In eine andere Sprache
aus dem Quellinhalt
arxiv.org
Wichtige Erkenntnisse aus
by Connor Toups... um arxiv.org 04-04-2024
https://arxiv.org/pdf/2307.05862.pdfTiefere Fragen