이 연구는 NORMAD라는 새로운 벤치마크를 소개하여 대규모 언어 모델의 문화적 적응성을 평가한다. NORMAD는 75개국의 2,600개 이상의 이야기로 구성되어 있으며, 각 이야기는 세 가지 수준의 문화적 맥락(규칙, 가치, 국가)을 포함하고 있다. 실험 결과, 현재의 대규모 언어 모델은 문화적 맥락에 적응하는 데 어려움을 겪고 있으며, 특히 가치와 국가 수준의 맥락에서 성능이 낮다. 모델 크기 증가와 선호도 정렬 최적화 방법 개선이 성능 향상에 도움이 되지만, 영어권 국가에 편향된 성능 향상을 보인다. 또한 모델은 문화적 규범을 위반하거나 관련이 없는 이야기에 대해 어려움을 겪는다. 이는 모델의 동의 또는 아첨 편향을 나타낸다. 전반적으로 이 연구는 대규모 언어 모델의 문화적 적응성 향상을 위한 필요성을 강조한다.
إلى لغة أخرى
من محتوى المصدر
arxiv.org
الرؤى الأساسية المستخلصة من
by Abhinav Rao,... في arxiv.org 04-22-2024
https://arxiv.org/pdf/2404.12464.pdfاستفسارات أعمق