Core Concepts
Eine neue Methode zur Prompt-Optimierung, ProTeCt, verbessert die hierarchische Konsistenz von Klassifikationen in taxonomischen Offene-Set-Szenarien, ohne die Leistung auf Blattebene zu beeinträchtigen.
Abstract
Die Studie befasst sich mit dem Problem der taxonomischen Offene-Set-Klassifikation (TOS), bei der Klassifikatoren in der Lage sein müssen, Vorhersagen über Konzepte auf verschiedenen Ebenen der semantischen Granularität zu treffen.
Die Autoren zeigen, dass weder die Nullschuss-Klassifikation mit CLIP noch bestehende Prompt-Optimierungsmethoden wie CoOp und MaPLe gut für den TOS-Kontext geeignet sind. Sie führen zwei neue Metriken ein - Hierarchical Consistent Accuracy (HCA) und Mean Treecut Accuracy (MTA) - um die Leistung in diesem Szenario zu bewerten.
Um die hierarchische Konsistenz zu verbessern, schlagen die Autoren eine neue Prompt-Optimierungsmethode namens ProTeCt vor. ProTeCt kombiniert zwei Verlustfunktionen: Einen Knoten-zentrierten Verlust (NCL), der die Klassifikation auf allen Ebenen der Hierarchie verbessert, und einen dynamischen Baumschnitt-Verlust (DTL), der die Konsistenz über verschiedene Granularitätsebenen hinweg fördert.
Experimente auf Cifar100, SUN und ImageNet zeigen, dass ProTeCt die HCA und MTA deutlich verbessert, ohne die Blattgenauigkeit zu beeinträchtigen. Darüber hinaus zeigen die Ergebnisse, dass die Verbesserungen der hierarchischen Konsistenz auch auf Bilddomänen außerhalb des Trainingsdatensatzes übertragbar sind.
Stats
Die Autoren verwenden Metriken wie Blattgenauigkeit (Accleaf), hierarchische konsistente Genauigkeit (HCA) und mittlere Baumschnitt-Genauigkeit (MTA), um die Leistung der Klassifikatoren zu bewerten.
Quotes
"Während die Blattgenauigkeit durchaus akzeptabel ist, ist die hierarchische Konsistenz sehr schlecht."
"ProTeCt kann signifikant die Leistung von Prompt-Optimierungsmethoden wie CoOp und MaPLe im TOS-Szenario verbessern."