이 연구에서는 핀란드어, 영어, 프로그래밍 언어 데이터 1조 토큰으로 34억 개의 매개변수를 가진 Poro 34B 모델을 학습했습니다.
핀란드어 성능 평가에서 Poro 34B는 기존 핀란드어 전용 모델들을 크게 능가했습니다. 이는 제한적인 다국어 학습 접근법이 작은 언어 모델 성능 향상에 효과적임을 보여줍니다.
영어와 프로그래밍 언어 평가에서도 Poro 34B는 경쟁력 있는 성능을 보였습니다. 이는 다국어 학습이 주요 언어 능력을 크게 저해하지 않음을 시사합니다.
추가로 Poro 34B는 기계 번역 평가에서도 우수한 성과를 보였는데, 이는 다국어 데이터와 번역 쌍 활용이 효과적이었음을 보여줍니다.
전반적으로 이 연구는 작은 언어 모델 개발을 위한 다국어 학습 접근법의 잠재력을 입증했습니다. 향후 연구에서는 다양한 작은 언어에 대한 적용과 다국어 학습의 세부 효과에 대한 분석이 필요할 것으로 보입니다.
다른 언어로
소스 콘텐츠 기반
arxiv.org
더 깊은 질문