Core Concepts
대형 시각-언어 모델에서 숫자 환각을 평가하고 완화하기 위한 새로운 방법 소개
Abstract
이 논문은 대형 시각-언어 모델에서 숫자 환각에 대한 새로운 형태를 소개하고 20k 데이터셋과 해당 평가 결과를 제시하여 LVLMs에서 숫자 환각을 평가합니다. 이를 통해 이 모델들이 숫자 환각에 심각하게 영향을 받는 것을 밝히고, 내부 및 외부 불일치를 분석하여 일관성 훈련 방법을 제안하고 평균적으로 8%의 개선을 확인합니다.
데이터셋 구성: 20k 데이터 포함, nc > 0인 데이터만 보존
내부 및 외부 불일치: 모델의 답변에 내부 및 외부 불일치 문제가 있음을 확인
일관성 훈련 방법: 숫자 환각 완화를 위한 일관성 훈련 방법 제안
Stats
LVLMs는 숫자 환각에 심각하게 영향을 받음
Quotes
"모델의 답변에 내부 및 외부 불일치 문제가 있음을 확인"