Core Concepts
Effiziente Bestimmung des Ursprungsmodells eines gegebenen Bildes, auch wenn nur wenige Beispielbilder des Ursprungsmodells verfügbar sind und das Modell selbst nicht zugänglich ist.
Abstract
In dieser Arbeit wird das Problem der Herkunftszuordnung von generierten Bildern in einem praktischen Szenario untersucht, in dem nur wenige Bilder, die von einem Quellmodell generiert wurden, verfügbar sind und das Quellmodell selbst nicht zugegriffen werden kann.
Zunächst wird das Problem als eine Aufgabe der wenig-Schuss-Einklassenklassifikation formuliert. Dann wird ein CLIP-basierter Rahmen namens OCC-CLIP vorgeschlagen, um dieses Problem zu lösen. OCC-CLIP ermöglicht die Identifizierung des Ursprungsmodells eines Bildes, auch wenn mehrere Kandidaten vorhanden sind.
Umfangreiche Experimente mit verschiedenen Generierungsmodellen belegen die Wirksamkeit des OCC-CLIP-Rahmens. Darüber hinaus bestätigt ein Experiment basierend auf der kürzlich veröffentlichten DALL·E-3-API die Praxistauglichkeit der vorgeschlagenen Lösung.
Die Hauptbeiträge der Arbeit sind:
- Formulierung eines neuen Problems in einem praktischen Szenario, bei dem generierte Bilder dem Ursprungsmodell nur mit wenigen verfügbaren Beispielbildern zugeordnet werden müssen.
- Formulierung des Problems als Aufgabe der wenig-Schuss-Einklassenklassifikation und Vorschlag eines CLIP-basierten Frameworks (OCC-CLIP) zur Lösung.
- Umfangreiche Experimente auf 8 Generierungsmodellen, einschließlich einer Verifizierung auf einem kommerziellen Bildgenerierungssystem (DALL·E-3).
Stats
Die Herkunftszuordnung ist wichtig, um den Missbrauch generierter Bilder zu verhindern.
Nur wenige Beispielbilder des Quellmodells sind verfügbar, und das Quellmodell selbst kann nicht zugegriffen werden.
Das Ziel ist es, zu überprüfen, ob ein gegebenes Bild vom Quellmodell generiert wurde.
Quotes
"Recent progress in visual generative models enables the generation of high-quality images. To prevent the misuse of generated images, it is important to identify the origin model that generates them."
"In this work, we aim to conduct origin attribution in a practical open-world setting (Fig. 1), where model parameters cannot be accessed and only a few samples generated by the model are available."