이 논문은 멀티모달 가짜 뉴스 탐지를 위한 해석 가능한 모델을 제안한다. 기존 모델들은 이미지 편집 흔적이나 텍스트 생성 패턴 등 단일 모달리티 기반의 특징을 활용하여 가짜 뉴스를 탐지했지만, 최근 가짜 뉴스 제작자들이 실제 이미지와 텍스트를 조합하여 맥락을 벗어난 가짜 뉴스를 생성하면서 이러한 접근법의 한계가 드러났다.
이에 저자들은 텍스트를 추상적 의미 표현 그래프로 변환하고, 이를 대규모 사전 학습 멀티모달 모델과 결합하여 텍스트-이미지 간 불일치를 식별하는 모델을 제안했다. 이 모델은 불일치 요인을 설명할 수 있는 증거를 출력하여 해석 가능성을 높였다. 실험 결과, 제안 모델은 기존 모델 대비 높은 정확도와 해석 가능성을 보였다.
To Another Language
from source content
arxiv.org
Ключові висновки, отримані з
by Yizhou Zhang... о arxiv.org 04-09-2024
https://arxiv.org/pdf/2304.07633.pdfГлибші Запити