이 연구는 신경망 기계 번역(NMT) 기술을 확장하여 200개 언어로 확장하는 것을 목표로 한다. 현재 NMT 시스템은 다국어 능력을 활용하고 제로 샷 번역을 수행할 수 있지만, 7,000개 이상의 언어 중 대부분은 병렬 이중언어 데이터가 부족하여 번역 품질이 낮다. 이를 해결하기 위해 연구진은 Sparsely Gated Mixture of Experts 아키텍처 기반의 조건부 계산 모델을 개발하였다. 이 모델은 저자원 언어를 위해 특별히 고안된 마이닝 기술을 통해 확보한 데이터로 학습되었다. 또한 수천 개의 과제에서 과적합을 방지하기 위한 아키텍처 및 학습 개선 기법을 적용하였다. 이 모델은 FLORES-200 벤치마크, XSTS 인간 평가 지표, 모든 언어에 대한 유해성 탐지기를 통해 평가되었으며, 이전 최신 모델 대비 평균 44% 향상된 번역 품질을 달성하였다. 이를 통해 200개 언어로 확장된 NMT 모델을 개발하고 이를 비상업적으로 공개함으로써 보편적 번역 시스템 구축을 위한 기반을 마련하였다.
To Another Language
from source content
www.nature.com
Key Insights Distilled From
by Mart... at www.nature.com 06-05-2024
https://www.nature.com/articles/s41586-024-07335-xDeeper Inquiries