본 연구는 준지도 학습과 지식 증류를 결합하여 효율적이고 경량화된 기계 학습 모델을 학습하는 방법을 제안한다. 이를 통해 대량의 레이블되지 않은 데이터를 활용하여 교사 모델과 경량 학생 모델의 성능을 향상시킬 수 있다.