Core Concepts
ChatGPT는 다양한 언어를 처리할 수 있는 능력이 제한적이며, 특히 저자원 언어와 아프리카 언어에 대한 지원이 부족한 것으로 나타났다.
Abstract
이 연구는 ChatGPT의 언어 식별 능력을 평가하기 위해 Babel-670이라는 데이터셋을 구축하였다. Babel-670은 24개 언어 가족에 속하는 670개 언어를 포함하고 있으며, 5개 대륙에서 사용되는 언어들로 구성되어 있다.
연구진은 ChatGPT(GPT-3.5 및 GPT-4)에게 언어 이름과 언어 코드를 예측하도록 요청하였다. 이때 제공되는 예시 데이터의 수(0-shot, 1-shot, 5-shot)와 레이블 세트의 유무(easy, medium, hard)에 따라 다양한 실험 설정을 적용하였다.
실험 결과, ChatGPT는 언어 이름 예측에서 언어 코드 예측보다 더 나은 성능을 보였다. 또한 레이블 세트가 제공되는 경우 성능이 크게 향상되었지만, 레이블 세트가 없는 경우 성능이 크게 저하되었다. 특히 아프리카 언어에 대한 ChatGPT의 지원이 매우 부족한 것으로 나타났다.
이 연구는 ChatGPT와 같은 대규모 언어 모델이 다양한 언어 커뮤니티를 충분히 지원하기 위해서는 추가적인 개발이 필요함을 시사한다.
Stats
670개 언어 중 382개 언어에 대해 ChatGPT(GPT-4)의 F1 점수가 0%였다.
ChatGPT(GPT-4)의 언어 식별 성능은 아프리카 지역에서 가장 낮았다.
Quotes
"ChatGPT는 다양한 언어를 처리할 수 있는 능력이 제한적이며, 특히 저자원 언어와 아프리카 언어에 대한 지원이 부족한 것으로 나타났다."
"이 연구는 ChatGPT와 같은 대규모 언어 모델이 다양한 언어 커뮤니티를 충분히 지원하기 위해서는 추가적인 개발이 필요함을 시사한다."