Concetti Chiave
Das DIS-SAM-Modell verbessert die Segmentierungsgenauigkeit des Segment Anything Modells (SAM) erheblich, indem es SAM mit einem speziell für die hochpräzise Segmentierung entwickelten IS-Net kombiniert.
Sintesi
Der Artikel stellt das DIS-SAM-Modell vor, das darauf abzielt, die Segmentierungsgenauigkeit des Segment Anything Modells (SAM) für die hochpräzise dichotome Bildsegmentierung (DIS) zu verbessern.
Das Verfahren besteht aus zwei Stufen:
- In der ersten Stufe verwendet DIS-SAM SAM, um eine grobe Segmentierungsmaske unter Verwendung einer Eingabeaufforderung zu erstellen.
- In der zweiten Stufe wird diese grobe Maske zusammen mit dem Originalbild und der Eingabeaufforderung an ein speziell für DIS entwickeltes IS-Net übergeben, um eine hochpräzise Segmentierungsmaske zu erzeugen.
Um die Anpassungsfähigkeit an dynamische Zielgruppensegmentierung mit Eingabeaufforderungen zu verbessern, wird außerdem eine Datenerweiterungsstrategie angewendet.
Die Experimente zeigen, dass DIS-SAM die Segmentierungsgenauigkeit im Vergleich zu SAM, HQ-SAM und dem ursprünglichen IS-Net deutlich verbessert. Darüber hinaus behält DIS-SAM die promptfähigen Fähigkeiten von SAM bei und zeigt eine gute Übertragbarkeit auf andere Datensätze.
Statistiche
Die Verwendung von Eingabeaufforderungen verbessert alle Leistungskennzahlen deutlich, insbesondere den maximalen F-Wert.
Die Verwendung der groben SAM-Maske reduziert den HCE-Wert (Human Correction Effort) erheblich, was bedeutet, dass sie Informationen zur Erzielung feingranularer Details kompensiert.
Die Kombination von beidem führt zu einem deutlich genaueren Segmentierungsmodell.
Die Anwendung der Datenerweiterungsstrategie kann die Gesamtgenauigkeit leicht verbessern.
Citazioni
"DIS-SAM signifikant die Segmentierungsgenauigkeit gegenüber SAM und HQ-SAM auf dem DIS-5K-Datensatz verbessert."
"Dank der Übernahme der promptfähigen Natur von SAM übertrifft DIS-SAM auch das ursprüngliche eingabeaufforderungsfreie IS-Net mit bemerkenswerten Abständen."