이 연구는 다국어 LLM(mLLM)의 문화적 다양성 추론 능력을 속담과 격언을 통해 조사했다. 주요 발견은 다음과 같다:
mLLM은 제한적인 수의 속담만 "알고" 있으며, 속담을 암기하는 것이 대화 상황에서 이해하는 것을 의미하지 않는다.
mLLM은 비유적인 속담과 격언을 추론하는 데 어려움을 겪으며, 정답을 선택하라는 질문보다 오답을 선택하라는 질문에 더 취약하다.
다른 언어에서 번역된 속담과 격언을 추론할 때 mLLM에 "문화 격차"가 존재한다.
연구진은 6개 언어의 속담과 격언으로 구성된 MAPS 데이터셋을 구축하여 공개했다.
Naar een andere taal
vanuit de broninhoud
arxiv.org
Belangrijkste Inzichten Gedestilleerd Uit
by Chen Cecilia... om arxiv.org 04-02-2024
https://arxiv.org/pdf/2309.08591.pdfDiepere vragen