Core Concepts
Durch die Modellierung der Beziehungen zwischen Klassen und den gezielten Einsatz von Datenaugmentierung sowie einer gewichteten Verlustfunktion kann die Leistung bei Minderheitsklassen in der domänenadaptiven Objekterkennung deutlich verbessert werden.
Abstract
Der Artikel befasst sich mit der Herausforderung der unausgewogenen Klassenzugehörigkeit in der domänenadaptiven Objekterkennung. Bestehende Methoden, die auf dem Student-Lehrer-Framework basieren, leiden unter diesem Problem, da die Pseudobeschriftungen durch die Klassenungleichgewichte verzerrt sein können.
Um dies zu adressieren, stellen die Autoren den Class-Aware Teacher (CAT) vor. Dieser besteht aus mehreren Komponenten:
Inter-Class Relation module (ICRm): Dieses Modul schätzt die Beziehungen zwischen den Klassen ab, um die bestehenden Klassenbias des Modells zu erfassen.
Class-Relation Augmentation (CRA): Mithilfe der Erkenntnisse aus dem ICRm werden Minderheitsklassen gezielt mit ähnlichen Mehrheitsklassen gemischt, um ihre Repräsentation zu erhöhen.
Inter-Class Loss (ICL): Basierend auf den Klassenbeziehungen aus dem ICRm wird der Klassifikationsverlust so gewichtet, dass die Leistung bei Minderheitsklassen, die häufig falsch klassifiziert werden, priorisiert wird.
Die Experimente auf verschiedenen Benchmarks zeigen, dass CAT die Leistung bei Minderheitsklassen deutlich verbessern kann, ohne die Mehrheitsklassen zu beeinträchtigen. Auf dem Cityscapes →Foggy Cityscapes-Datensatz erreicht CAT einen mAP von 52,5, was eine signifikante Verbesserung gegenüber dem bisherigen Stand der Technik darstellt.
Stats
Die 'car'-Klasse im Cityscapes-Datensatz enthält 26.963 Instanzen, während die 'train'-Klasse nur 168 Instanzen umfasst.
Im Clipart1k-Datensatz gibt es nur 7 Instanzen der 'motorbike'-Klasse in den Trainingsdaten.
Quotes
"Eine fundamentale Herausforderung entsteht aus dem Klassenungleichgewicht im beschrifteten Trainingsdatensatz, was zu ungenauen Pseudobeschriftungen führen kann."
"Die Beziehung zwischen den Klassen, insbesondere wenn eine Klasse die Mehrheit und die andere die Minderheit ist, hat einen großen Einfluss auf den Klassenbias."