Core Concepts
Ein Bayesianischer Ansatz zur Verbesserung der Robustheit von Bildklassifizierungsmodellen gegenüber Verteilungsverschiebungen zwischen Trainings- und Testdaten.
Abstract
Der Artikel präsentiert einen Bayesianischen Ansatz, um Bildklassifizierungsmodelle robuster gegenüber Verteilungsverschiebungen zwischen Trainings- und Testdaten (Out-of-Domain, OOD) zu machen.
Der Ansatz baut auf Compositional Neural Networks (CompNets) auf, die bereits robust gegenüber Verdeckungen sind, aber bei OOD-Daten schlechter abschneiden. Der Schlüssel ist, dass CompNets eine generative Komponente enthalten, die durch unüberwachtes Lernen von Merkmalsverteilungen (vMF-Verteilungen) robust gegenüber Verdeckungen wird.
Der vorgestellte Ansatz, Unsupervised Generative Transition (UGT), erweitert dies, indem er eine Übergangsverteilung der vMF-Merkmale lernt, die sowohl die Quell- als auch die Zieldomäne abdeckt. Dafür wird zunächst unüberwacht eine Übergangs-vMF-Verteilung gelernt, die Ähnlichkeiten zwischen den Domänen ausnutzt. Anschließend werden die räumlichen Beziehungen der vMF-Merkmale überwacht auf den Quelldaten gelernt und auf die Zieldomäne übertragen.
Dieser Ansatz zeigt starke Leistungen auf verschiedenen OOD-Benchmarks, einschließlich des herausfordernden OOD-CV-Datensatzes, sowie bei synthetischen Bildverzerrungen und dem Transfer von synthetischen zu realen Daten. Insbesondere übertrifft UGT bestehende Methoden deutlich, wenn zusätzlich Verdeckungen auftreten.
Stats
Die Leistung von UGT auf dem OOD-CV-Datensatz übersteigt die der Vergleichsmethoden um bis zu 10% Top-1-Genauigkeit bei Verdeckungen.
UGT zeigt starke Ergebnisse auf Imagenet-C-Verzerrungen und beim Transfer von synthetischen zu realen Daten.
Quotes
"Unser Ansatz, UGT, erweitert CompNets, indem er das Lernen in unüberwachtes Lernen von vMF-Kernen und überwachtes Lernen der räumlichen Geometrie aufteilt, was es uns ermöglicht, Übergangsverteilungen zu lernen."
"UGT erzielt Spitzenergebnisse auf verschiedenen OOD-Benchmarks, einschließlich des herausfordernden OOD-CV-Datensatzes, und zeigt eine außergewöhnliche Leistung bei der Generalisierung unter den synthetischen Verzerrungen von Imagenet-C."