전문가 효율성 향상을 위한 희소 전문가 모델: 혼합 전문가 모델의 정규화

본 연구는 사전 학습된 혼합 전문가 모델의 메모리 사용량과 계산 요구량을 줄이기 위한 새로운 2단계 프레임워크인 SEER-MoE를 제안한다. 첫 번째 단계에서는 중요도 높은 전문가 선별을 통해 전체 전문가 수를 줄이고, 두 번째 단계에서는 정규화 기반 미세 조정 전략을 통해 정확도 손실을 보완하면서 추론 시 활성화되는 전문가 수를 줄인다. 실험 결과, 제안 방법은 최소한의 정확도 저하로 추론 효율이 향상된 희소 혼합 전문가 모델을 생성할 수 있음을 보여준다.