Das SUDO-Framework wurde entwickelt, um die Herausforderungen zu bewältigen, die bei der Bereitstellung von KI-Systemen in der Praxis auftreten können. Oft unterscheiden sich die Daten, auf denen ein KI-System eingesetzt wird (Daten "in freier Wildbahn"), erheblich von den Daten, auf denen es trainiert und evaluiert wurde (Haltedatensatz). Außerdem fehlen für die Daten "in freier Wildbahn" häufig Referenzannotationen, was es schwierig macht, die Zuverlässigkeit der KI-Vorhersagen zu bestätigen.
SUDO umgeht diese Herausforderungen, indem es folgende Schritte durchführt:
Die Leistungsfähigkeit des Klassifikators gibt Aufschluss darüber, wie wahrscheinlich es ist, dass die Datenpunkte in einem bestimmten Wahrscheinlichkeitsintervall der einen oder anderen Klasse angehören. Die Diskrepanz zwischen den Klassifikatorleistungen für verschiedene Pseudo-Labels wird als "Pseudo-Label-Diskrepanz" oder SUDO bezeichnet.
Die Experimente zeigen, dass SUDO als zuverlässiger Proxy für die Modellleistung fungieren kann, auch wenn die zugrunde liegenden KI-Modelle eine schlechte Leistung aufweisen. SUDO kann daher verwendet werden, um unzuverlässige Vorhersagen zu identifizieren, vorteilhafte Modelle auszuwählen und algorithmische Voreingenommenheit ohne Referenzannotationen zu beurteilen.
To Another Language
from source content
arxiv.org
Viktige innsikter hentet fra
by Dani Kiyasse... klokken arxiv.org 03-27-2024
https://arxiv.org/pdf/2403.17011.pdfDypere Spørsmål