이 연구는 LLM의 은유 이해 능력을 평가하기 위한 새로운 데이터셋인 MUNCH를 소개한다. MUNCH는 10,000개 이상의 은유적 문장에 대한 적절한 바꿔쓰기와 1,500개 이상의 부적절한 바꿔쓰기를 포함한다. 부적절한 바꿔쓰기는 모델이 단순히 어휘적 유사성에 의존하지 않고 실제로 은유를 해석하는지 확인하기 위해 선별되었다.
MUNCH의 은유적 문장은 4가지 장르(학술, 뉴스, 소설, 대화)에서 추출되었으며 다양한 수준의 새로움을 보인다. LLaMA와 GPT-3.5를 대상으로 한 실험 결과, MUNCH가 LLM에게 상당한 도전과제임을 보여준다. 이 데이터셋은 은유 이해 능력 향상을 위한 기반을 제공할 것으로 기대된다.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Xiaoyu Tong,... at arxiv.org 03-19-2024
https://arxiv.org/pdf/2403.11810.pdfDeeper Inquiries