핵심 개념
대형 언어 모델을 활용하여 다중 양식 허위 정보의 진위 여부를 판단하고 이에 대한 설명을 제공하는 방법을 제안한다.
초록
이 논문은 다중 양식 허위 정보 탐지를 위해 대형 언어 모델(LLM)의 활용 방안을 제안한다.
다중 양식 정보(텍스트, 이미지)를 적절한 지시 따르기 형식으로 변환하는 데이터 증강 방법을 제시한다.
변환된 데이터를 프로프라이어터리 LLM(ChatGPT)에 입력하여 다중 양식 허위 정보의 진위 여부에 대한 설명을 생성한다.
효율적인 지식 증류 기법을 통해 프로프라이어터리 LLM의 설명 생성 능력을 오픈소스 LLM(LLaMA, MiniGPT-v2)에 전달한다.
실험 결과, 제안 모델은 충분한 탐지 성능을 보이며 판단 근거에 대한 설득력 있는 설명을 제공할 수 있음을 확인했다.
통계
많은 인플루언서들에 의해 널리 공유된 뉴스는 가짜이다.
72명의 인도 군인이 부상을 입고 중국군과의 충돌에서 포로로 잡혔다.
영상에서는 '포로로 잡힌 중국 군인을 구타하는 인도 군대'라고 주장하고 있다.
인용구
"어떤 정의로운 행동이든 사실에 기반해야 한다. 안타깝게도 이 뉴스는 가짜다."
"72명의 인도 군인이 부상을 입고 중국군과의 충돌에서 포로로 잡혔다."
"영상에서는 '포로로 잡힌 중국 군인을 구타하는 인도 군대'라고 주장하고 있다."