מושגי ליבה
생성 이미지의 출처 모델을 식별하기 위해 소량의 샘플 이미지만 있는 경우에도 효과적으로 작동하는 모델 무관 접근법을 제안한다.
תקציר
이 연구는 생성 이미지의 출처 모델을 식별하는 문제를 다룬다. 최근 고품질 이미지 생성 모델의 발전으로 인해 생성 이미지의 오남용 방지를 위해 출처 모델 식별이 중요해졌다.
이 연구에서는 실제 상황에 부합하는 실용적인 설정을 고려한다. 즉, 출처 모델에 대한 접근이 불가능하고 소량의 샘플 이미지만 사용할 수 있는 경우를 다룬다.
이를 위해 소량 샘플 기반의 one-class 분류 문제로 정의하고, CLIP 기반의 OCC-CLIP 프레임워크를 제안한다. OCC-CLIP은 적대적 데이터 증강 기법을 활용하여 소량의 샘플 이미지로도 효과적으로 출처 모델을 식별할 수 있다.
실험 결과, OCC-CLIP은 다양한 생성 모델에 대해 우수한 성능을 보였으며, 최근 공개된 DALL·E-3 API에서도 효과적으로 작동함을 확인했다. 또한 다중 출처 모델 식별에도 적용 가능함을 보였다.
סטטיסטיקה
실험에 사용된 이미지는 총 202,520장으로, 5개의 생성 모델(Stable Diffusion, Latent Diffusion, GLIDE, Vector Quantized Diffusion, GALIP)과 3개의 GAN 모델(GauGAN, ProGAN, StyleGAN2)에서 생성되었다.
이 중 Stable Diffusion 모델에서 생성된 이미지를 타겟 클래스로, COCO 데이터셋에서 추출한 이미지를 논타겟 클래스로 사용했다.
ציטוטים
"Recent progress in visual generative models enables the generation of high-quality images. To prevent the misuse of generated images, it is important to identify the origin model that generates them."
"In this work, we aim to conduct origin attribution in a practical open-world setting (Fig. 1), where model parameters cannot be accessed and only a few samples generated by the model are available."