Core Concepts
FakeBench는 대규모 멀티모달 모델이 AI 생성 이미지를 구분하고 그 이유를 설명할 수 있는지 평가하는 첫 번째 벤치마크이다.
Abstract
FakeBench는 AI 생성 이미지 탐지에 대한 4가지 연구 질문을 다룹니다:
대규모 멀티모달 모델(LMM)이 다양한 생성 모델로 만든 가짜 이미지를 탐지할 수 있는가?
LMM이 가짜 이미지 탐지에 대한 복잡한 추론을 수행할 수 있는가?
LMM이 탐지 결과를 적절하게 해석할 수 있는가?
LMM이 이미지 진위 관련 세부 사항에 대한 임의의 개방형 질문에 답변할 수 있는가?
FakeBench는 이를 위해 FakeClass, FakeClue, FakeQA 데이터셋을 구축했습니다. FakeClass는 이미지 진위 판단 질문-답변 쌍을, FakeClue는 가짜 이미지의 단서에 대한 설명을, FakeQA는 이미지 진위 관련 세부 사항에 대한 질문-답변 쌍을 포함합니다.
실험 결과, 일부 LMM은 중간 수준의 가짜 이미지 탐지 능력, 기초적인 해석 및 추론 능력, 그리고 보통 수준의 개방형 질문 답변 능력을 보였지만, 대부분의 LMM은 아직 초기 단계에 머물러 있습니다. 이는 LMM의 학습 데이터, 아키텍처 설계, 최적화 전략 등에 기인한 것으로 보입니다.
Stats
이 이미지는 맑은 날씨에 바다에 잠긴 상태의 고래로 보입니다.
고래의 몸체는 부분적으로 햇빛에 비춰져 피부에 빛과 그림자 패턴이 생깁니다.
사진 각도와 고래의 위치로 보아 고래가 수면에서 잠수하거나 멀어지고 있는 것 같습니다.