核心概念
다국어 디코더 기반 사전 학습 언어 모델에는 각 언어에 고유한 뉴런이 존재하며, 이러한 뉴런을 제어하면 텍스트 생성 시 목표 언어 발생 확률을 크게 변화시킬 수 있다.
摘要
이 연구는 다국어 디코더 기반 사전 학습 언어 모델의 내부 동작을 분석하여 언어별 고유 뉴런의 존재를 확인했다. 구체적으로 다음과 같은 결과를 도출했다:
- 언어별 고유 뉴런은 모델의 첫 번째와 마지막 몇 개의 층에 주로 분포한다. 이러한 경향은 언어, 모델 크기, 모델 변종에 관계없이 일관되게 나타났다.
- 언어별 고유 뉴런은 서로 간 중복이 매우 적다(5% 미만).
- 이러한 언어별 고유 뉴런을 제어하면 텍스트 생성 시 목표 언어 발생 확률을 크게 변화시킬 수 있다. 이는 무조건적 텍스트 생성과 조건부 텍스트 생성(기계 번역) 실험에서 모두 확인되었다.
- 언어별 고유 뉴런을 제어할 때 상위 1000개 뉴런과 하위 1000개 뉴런을 함께 제어하는 것이 효과적이었다.
이 연구 결과는 다국어 디코더 기반 언어 모델의 내부 동작에 대한 새로운 통찰을 제공하며, 향후 다국어 언어 모델 개선을 위한 기반이 될 것으로 기대된다.
統計資料
각 언어별 텍스트 데이터는 500개씩 준비되었다.
모델의 총 뉴런 수는 XGLM-564M의 경우 221,184개, BLOOM-1.7B의 경우 442,368개, Llama2-7B의 경우 1,359,872개이다.
引述
"언어별 고유 뉴런은 주로 모델의 첫 번째와 마지막 몇 개의 층에 분포한다."
"언어별 고유 뉴런은 서로 간 중복이 매우 적다(5% 미만)."
"언어별 고유 뉴런을 제어하면 텍스트 생성 시 목표 언어 발생 확률을 크게 변화시킬 수 있다."