Der Artikel präsentiert ein neuartiges Framework namens PROWL (PRototype-based zero-shot OOD detection Without Labels) für die unüberwachte Erkennung und Segmentierung von Objekten außerhalb der Verteilung (Out-of-Distribution, OOD) in Szenen mit mehreren Objekten.
PROWL ist ein Plugin-und-Play-Framework, das keine zusätzlichen Trainingsschritte auf Domänendaten erfordert. Es nutzt stattdessen robuste visuelle Merkmale aus selbstüberwachten vortrainierten Modellen wie DINOv2, um eine Prototypen-Merkmalsbibliothek für bekannte Objektklassen zu erstellen. Mithilfe dieser Prototypen-Merkmale kann PROWL dann unbekannte Objekte in Testbildern zuverlässig erkennen, indem es die Ähnlichkeit zu den bekannten Prototypen berechnet.
Um die Genauigkeit der OOD-Erkennung weiter zu verbessern, kombiniert PROWL die Prototypen-Heatmaps mit Vordergrundmasken, die durch unüberwachte Segmentierungsmethoden wie STEGO oder CutLER generiert werden. Dadurch können ganze Objektmasken als OOD identifiziert werden, anstatt nur einzelne Pixel.
PROWL übertrifft überwachte Methoden, die ohne zusätzliche OOD-Daten trainiert wurden, auf den Validierungsdatensätzen von RoadAnomaly und RoadObstacle der SMIYC-Benchmark für Straßenfahrszenen. Darüber hinaus zeigt PROWL seine Anwendbarkeit auch in anderen Domänen wie Schienen- und Maritimszenen, indem es dort ohne zusätzliches Training eingesetzt werden kann.
In eine andere Sprache
aus dem Quellinhalt
arxiv.org
Wichtige Erkenntnisse aus
by Poulami Sinh... um arxiv.org 04-12-2024
https://arxiv.org/pdf/2404.07664.pdfTiefere Fragen