데이터 불균형 데이터셋에서 비전 트랜스포머를 효과적으로 학습하기 위해 CNN 교사 모델로부터의 증류 기법을 제안한다. 이를 통해 비전 트랜스포머가 다수 클래스와 소수 클래스에 대해 균형 잡힌 성능을 달성할 수 있다.