Der Artikel befasst sich mit dem Problem der Subpopulationsverschiebungen in Datensätzen, bei denen sich die Verteilung der Daten zwischen Trainings- und Testphase unterscheidet. Dies kann zu einer deutlich schlechteren Leistung auf bestimmten Untergruppen führen, selbst wenn die durchschnittliche Testgenauigkeit hoch ist.
Um dieses Problem anzugehen, präsentieren die Autoren einen Ansatz, der auf Bayes'scher Inferenz basiert. Sie entwickeln eine Familie von gruppenorientierten Prior-Verteilungen über die Parameter neuronaler Netze, die explizit Modelle begünstigen, die eine hohe Robustheit gegenüber Subpopulationsverschiebungen aufweisen.
Als konkrete Umsetzung eines solchen gruppenorientierten Priors konstruieren die Autoren eine einfache, skalierbare Variante, die nur einen kleinen Satz gruppenetikettierten Validierungsdaten erfordert. Sie zeigen, dass das Finetuning eines zuvor trainierten Modells mit diesem Prior zu state-of-the-art-Ergebnissen auf gängigen Benchmarks führt. Sogar wenn nur die letzte Schicht des Netzwerks mit dem gruppenorientierten Prior nachtrainiert wird, erreichen sie wettbewerbsfähige Ergebnisse.
Die Autoren diskutieren auch, wie dieser probabilistische Ansatz zur Gruppenrobustheit neue Möglichkeiten eröffnet, um Bayes'sche Inferenzmethoden zur Verbesserung der Generalisierung und Unsicherheitsquantifizierung einzusetzen.
To Another Language
from source content
arxiv.org
Viktige innsikter hentet fra
by Tim G. J. Ru... klokken arxiv.org 03-18-2024
https://arxiv.org/pdf/2403.09869.pdfDypere Spørsmål