이 논문은 다국어 언어 모델 압축을 위한 혁신적인 기법인 다국어 뇌 수술사(Multilingual Brain Surgeon, MBS)를 소개한다. 기존의 압축 기법들은 영어 중심의 교정 데이터를 사용하여 저자원 언어의 성능 저하가 심각했다. MBS는 모델 학습 데이터의 언어 분포에 비례하여 교정 데이터를 샘플링함으로써 이 문제를 해결한다.
실험 결과, MBS는 기존 압축 기법들의 성능을 크게 향상시켰으며, 특히 저자원 언어의 성능 저하를 최소화했다. 또한 언어 간 상호작용 동역학을 분석하여, 학습 데이터에서의 언어 비율과 교정 언어와의 유사도가 압축 성능에 중요한 요인임을 밝혔다. 이를 통해 MBS는 다국어 NLP 애플리케이션의 포용성과 성능을 향상시킬 수 있다.
To Another Language
from source content
arxiv.org
Głębsze pytania