이 연구는 생성 이미지의 출처 모델을 식별하는 문제를 다룬다. 최근 고품질 이미지 생성 모델의 발전으로 인해 생성 이미지의 오남용 방지를 위해 출처 모델 식별이 중요해졌다.
이 연구에서는 실제 상황에 부합하는 실용적인 설정을 고려한다. 즉, 출처 모델에 대한 접근이 불가능하고 소량의 샘플 이미지만 사용할 수 있는 경우를 다룬다.
이를 위해 소량 샘플 기반의 one-class 분류 문제로 정의하고, CLIP 기반의 OCC-CLIP 프레임워크를 제안한다. OCC-CLIP은 적대적 데이터 증강 기법을 활용하여 소량의 샘플 이미지로도 효과적으로 출처 모델을 식별할 수 있다.
실험 결과, OCC-CLIP은 다양한 생성 모델에 대해 우수한 성능을 보였으며, 최근 공개된 DALL·E-3 API에서도 효과적으로 작동함을 확인했다. 또한 다중 출처 모델 식별에도 적용 가능함을 보였다.
To Another Language
from source content
arxiv.org
Önemli Bilgiler Şuradan Elde Edildi
by Fengyuan Liu... : arxiv.org 04-04-2024
https://arxiv.org/pdf/2404.02697.pdfDaha Derin Sorular