Khái niệm cốt lõi
확산 모델을 통해 생성된 이미지와 실제 이미지 간의 스펙트럼 불일치를 적응적으로 융합하여 효과적으로 구분할 수 있는 Trinity Detector 방법을 제안한다.
Tóm tắt
이 논문은 확산 모델을 통해 생성된 이미지와 실제 이미지를 구분하기 위한 Trinity Detector 방법을 제안한다.
- 다중 스펙트럼 채널 주의 융합 유닛(MCAF)을 설계하여 다양한 주파수 대역의 적응적 융합을 통해 실제 이미지와 확산 생성 이미지 간의 스펙트럼 불일치를 추출한다.
- 텍스트 정보의 거친 특징과 픽셀 영역의 세부 특징을 통합하여 다중 모달 탐지 성능을 향상시킨다.
- 확산 생성 이미지 데이터셋인 TxtDiffusionForensics를 구축하여 확산 생성 이미지 탐지기 평가를 위한 기반을 마련했다.
- 실험 결과, Trinity Detector는 다른 최신 방법들에 비해 우수한 성능과 일반화 능력, 강건성을 보여주었다.
Thống kê
확산 모델을 통해 생성된 이미지는 실제 이미지에 비해 주파수 영역에서 불균형한 분포를 보인다.
Trinity Detector는 다중 스펙트럼 채널 주의 융합 유닛(MCAF)을 통해 다양한 주파수 대역의 적응적 융합을 수행하여 실제 이미지와 확산 생성 이미지 간의 스펙트럼 불일치를 효과적으로 추출할 수 있다.
제안 방법은 기존 방법들에 비해 확산 생성 이미지 탐지 성능이 최대 17.6% 향상되었다.
Trích dẫn
"확산 모델을 통해 생성된 이미지는 실제 이미지에 비해 주파수 영역에서 불균형한 분포를 보인다."
"Trinity Detector는 다중 스펙트럼 채널 주의 융합 유닛(MCAF)을 통해 다양한 주파수 대역의 적응적 융합을 수행하여 실제 이미지와 확산 생성 이미지 간의 스펙트럼 불일치를 효과적으로 추출할 수 있다."