다중 헤드 전문가 혼합 모델: 효율적인 모델 확장과 세부적인 이해력 향상

다중 헤드 메커니즘을 활용하여 입력 토큰을 여러 개의 서브 토큰으로 분할하고, 이를 다양한 전문가에게 할당함으로써 전문가 활성화를 높이고 세부적인 이해력을 향상시킨다.