효율적인 SMoE를 위한 병합 후 압축 기법

SMoE 모델의 메모리 사용량과 전문가 중복성 문제를 해결하기 위해 라우팅 정책을 활용한 전문가 병합 기법과 추가적인 압축 기법을 제안한다.