Główne pojęcia
Durch eine selbsttrainierende Adaption des Segment-Anything-Modells mit schwacher Überwachung kann dessen Generalisierungsfähigkeit auf verschiedene Downstream-Segmentierungsaufgaben deutlich verbessert werden.
Streszczenie
Die Studie untersucht die Generalisierungsfähigkeit des Segment-Anything-Modells (SAM) auf verschiedene Downstream-Segmentierungsaufgaben und schlägt eine Lösung vor, um SAM ohne Zugriff auf den Quelldatensatz und mit geringem Speicheraufwand an Downstream-Daten anzupassen.
Der vorgeschlagene Ansatz nutzt eine selbsttrainierende Adaption, die natürlich mit schwachen Supervisionen kompatibel ist und deren Wirksamkeit deutlich verbessert. Umfangreiche Evaluierungen auf 10 Datensätzen aus 5 Arten von Downstream-Aufgaben zeigen, dass der vorgeschlagene Adaptionsansatz die Generalisierungsfähigkeit von SAM unter verschiedenen Verteilungsverschiebungen erheblich verbessern kann.
Konkret werden folgende Schritte durchgeführt:
- Selbsttrainingsverlust zur Aktualisierung des Schüler-/Lehrernetzes
- Verankerungsverlust zur robusten Regularisierung
- Kontrastiver Verlust zur Regularisierung des Encoder-Ausgangs
- Nutzung verschiedener Arten schwacher Supervision (Bounding-Boxen, Punkte, grobe Segmentierungsmasken) als Eingabe-Prompt für eine nahtlose Integration
- Effizienter Ansatz zum Aktualisieren der Encoder-Netzwerkgewichte durch Low-Rank-Zerlegung
Statystyki
Die Segmentierungsgenauigkeit (mIoU) konnte durch die vorgeschlagene schwach überwachte Adaption deutlich gesteigert werden, z.B. um 35% auf dem CHAMELEON-Datensatz für kaschierte Objekte.
Cytaty
Keine relevanten Zitate gefunden.