Conceitos Básicos
다국어 사전 훈련 대형 언어 모델을 유창하고 도움이 되는 조수로 적응시키는 것은 다양한 언어 지역에서 사용을 촉진하는 데 필수적이다. 이를 위해 우리는 가장 많이 사용되는 인도-유럽어 언어 선택에 대한 병렬 지시 튜닝 벤치마크에서 다국어 모델의 성능을 광범위하게 연구하는 최초의 연구를 수행했다.
Resumo
이 연구는 다국어 사전 훈련 대형 언어 모델의 다국어 지시 따르기 능력을 조사했다. 병렬 지시 튜닝 데이터셋을 사용하여 언어와 지시 데이터셋 크기가 중간 크기와 대형 다국어 모델의 지시 튜닝에 미치는 영향을 체계적으로 조사했다.
결과는 다음과 같다:
- 병렬 지시 튜닝이 단일 언어 지시 튜닝에 비해 최대 9.9%의 교차 언어 지시 따르기 능력 향상을 보여줌
- 중간 크기 모델의 경우 Superficial Alignment Hypothesis가 일반적으로 성립하지 않음, 대형 모델에서는 성립
- GPT-4 기반 평가와 인간 평가 간 정렬 수준에 차이가 있음
이 연구는 다국어 대화 시나리오에서 생성 모델의 성능을 평가하는 데 있어 중요한 통찰을 제공한다.
Estatísticas
다국어 모델을 병렬 지시 튜닝 데이터셋으로 학습하면 단일 언어 튜닝에 비해 최대 9.9% 성능 향상을 보임
중간 크기 모델의 경우 Superficial Alignment Hypothesis가 일반적으로 성립하지 않음
Citações
"다국어 사전 훈련 대형 언어 모델을 유창하고 도움이 되는 조수로 적응시키는 것은 다양한 언어 지역에서 사용을 촉진하는 데 필수적이다."
"결과는 병렬 지시 튜닝이 단일 언어 지시 튜닝에 비해 최대 9.9%의 교차 언어 지시 따르기 능력 향상을 보여줌을 시사한다."
"중간 크기 모델의 경우 Superficial Alignment Hypothesis가 일반적으로 성립하지 않음, 대형 모델에서는 성립한다."