Core Concepts
Durch die Verwendung von schwer zu klassifizierenden Instanzen als Validierungsdatensatz in Lerngewichtungsverfahren kann die Generalisierungsfähigkeit von Klassifikatoren deutlich verbessert werden.
Abstract
Die Studie untersucht, wie die Wahl des Validierungsdatensatzes in Lerngewichtungsverfahren (Learned Reweighting, LRW) die Generalisierungsfähigkeit von Klassifikatoren beeinflusst.
Kernpunkte:
Es wird ein Verfahren zur Meta-Optimierung des Validierungsdatensatzes in LRW-Klassifikatoren vorgestellt (MOLERE). Dabei wird der Validierungsdatensatz so gewählt, dass er aus den schwer zu klassifizierenden Instanzen besteht.
Theoretische Analyse zeigt, dass MOLERE asymptotisch ein Robust-Optimierungs-Ziel verfolgt, das die Genauigkeit auf den schwierigsten Samples maximiert.
Empirische Ergebnisse auf verschiedenen Datensätzen zeigen, dass LRW-Klassifikatoren mit optimiertem Validierungsdatensatz (LRW-Hard) deutlich bessere Generalisierung aufweisen als Varianten mit einfachen oder zufälligen Validierungsdaten.
Die vorgeschlagene Methode LRWOpt, die das Aufteilen des Datensatzes und das Lernen der Gewichtung gemeinsam optimiert, übertrifft eine Reihe von Baseline-Methoden.
Weitere Experimente zeigen, dass MOLERE-Klassifikatoren größere Abstände zwischen Vorhersagewahrscheinlichkeiten aufweisen, was den Mechanismus der Leistungsverbesserung erklärt.
Stats
Die Genauigkeit von LRW-Klassifikatoren mit optimiertem Validierungsdatensatz (LRW-Hard) ist 1-3% höher als die von ERM-Basislinien auf ImageNet-1K.
Auf dem iWildCam-Datensatz erzielt LRWOpt eine Verbesserung von 1,36% gegenüber ERM.
Auf dem Clothing1M-Datensatz mit verrauschten Labels erzielt LRWOpt eine Verbesserung von 4,2% gegenüber ERM.
Quotes
"Durch die Verwendung von schwer zu klassifizierenden Instanzen als Validierungsdatensatz in Lerngewichtungsverfahren kann die Generalisierungsfähigkeit von Klassifikatoren deutlich verbessert werden."
"MOLERE identifiziert asymptotisch die schwierigsten Samples im Trainingsdatensatz und lernt einen Klassifikator, der den Fehler auf diesen Samples minimiert."