Core Concepts
Entwicklung eines praktischen regionsbasierten Angriffs, der die Segmentierungsfähigkeit von Segment Anything Modellen beeinträchtigt, ohne die genaue Benutzerinteraktion zu kennen.
Abstract
Die Studie präsentiert einen praktischen regionsbasierten Angriff gegen Segment Anything Modelle (SAM), der eine realistischere Bedrohung darstellt als bisherige Angriffe. Der Angriff zielt darauf ab, Objekte innerhalb einer vom Angreifer definierten Region vor der Segmentierung durch SAM zu verbergen, ohne dass der Angreifer die genaue Position des Benutzerklicks kennen muss.
Es werden zwei Angriffsverfahren vorgestellt:
- Sampling-basierter Regionsangriff (S-RA): Hierbei werden Punkte innerhalb der Zielregion gleichmäßig abgetastet, um ein Ersatzziel für die Optimierung zu schaffen.
- Übertragbarer Regionsangriff (T-RA): Dieser Ansatz nutzt eine Spektrumstransformation, um die Übertragbarkeit des Angriffs auf andere SAM-Varianten zu verbessern.
Die Ergebnisse zeigen, dass beide Verfahren effektiv sind, um die Segmentierungsleistung von SAM-Modellen sowohl in einer White-Box- als auch in einer Black-Box-Umgebung zu beeinträchtigen. Der Angriff wurde auch auf verschiedene SAM-Varianten übertragen, was die Realität der Bedrohung unterstreicht und den Bedarf an neuen Verteidigungsmethoden zur Verbesserung der Robustheit von SAM-Modellen aufzeigt.
Stats
Ein subtiler Angriff mit einer Stärke von ϵ = 2/255 kann die mittlere Überlappung (mIoU) zwischen der generierten Maske und der Grundwahrheit bereits auf 2,99% reduzieren.
Bei einem Angriff mit ϵ = 8/255 fällt die mIoU auf unter 10%, wenn der T-RA-Ansatz verwendet wird.
Der T-RA-Angriff, der auf dem ViT-B-Modell trainiert wurde, erreicht auf dem leistungsfähigeren ViT-H-Modell eine mIoU von nur 9,33%.
Quotes
"Praktischer regionsbasierter Angriff gegen Segment Anything Modelle"
"Entwicklung eines praktischen regionsbasierten Angriffs, der die Segmentierungsfähigkeit von Segment Anything Modellen beeinträchtigt, ohne die genaue Benutzerinteraktion zu kennen."