Kernkonzepte
Durch den Einsatz von Grundlagenmodellen und einer neuartigen Korrekturabfrage können Datensätze für die semantische Segmentierung effizient und kostengünstig erstellt werden.
Zusammenfassung
Der Artikel präsentiert einen Rahmen für die aktive Etikettkorrektur (ALC) in der semantischen Segmentierung, der Grundlagenmodelle nutzt. Kernpunkte sind:
Verwendung von Grundlagenmodellen wie Grounded-SAM, um erste Pseudoetiketten zu generieren und Superpixel zu erstellen. Dies ermöglicht einen Warm-Start und vermeidet das übliche Kalt-Start-Problem in aktiven Lernverfahren.
Einführung einer neuartigen Korrekturabfrage, die Annotator:innen nur dann um Korrektur bittet, wenn die Pseudoetiketten falsch sind. Dies ist effizienter als die übliche Klassifizierungsabfrage.
Entwicklung einer Look-Ahead-Akquisitionsfunktion, die nicht nur die Unzuverlässigkeit einzelner Pixel, sondern auch den Effekt der Etikettenerweiterung auf zugehörige Superpixel berücksichtigt.
Evaluation auf verschiedenen Datensätzen, einschließlich des medizinischen Kvasir-SEG-Datensatzes. Die Ergebnisse zeigen, dass der ALC-Rahmen deutlich weniger Annotationsbudget benötigt als vorherige Methoden, um vergleichbare Leistung zu erreichen.
Praktische Anwendung zur Verbesserung des PASCAL-Datensatzes, der nun als PASCAL+ vorliegt und die Leistung von Segmentationsmodellen weiter steigert.
Statistiken
Durch die Korrektur von nur 0,5% der Pixeletiketten im PASCAL-Datensatz konnte die mittlere Intersection-over-Union (mIoU) um 0,9% verbessert werden.
Für den Kvasir-SEG-Datensatz wurde mit nur 6.000 Klicks 93% der Leistung des vollständig überwachten Modells erreicht.
Zitate
"Durch den Einsatz von Grundlagenmodellen und einer neuartigen Korrekturabfrage können Datensätze für die semantische Segmentierung effizient und kostengünstig erstellt werden."
"Unser ALC-Rahmen übertrifft vorherige Methoden für aktives Lernen in der semantischen Segmentierung und Etikettkorrektur über verschiedene Budgets hinweg."