核心概念
교사 모델의 잘못된 예측을 바로잡고 적절한 데이터를 선택하여 학생 모델의 성능을 향상시킨다.
摘要
이 논문은 지식 증류 기법을 개선하기 위한 두 가지 접근법을 제안한다.
라벨 수정(Label Revision, LR): 교사 모델의 잘못된 예측을 바로잡기 위해 실제 라벨을 활용하여 교사 모델의 소프트 라벨을 수정한다. 이를 통해 잘못된 지도가 학생 모델의 학습을 방해하는 것을 방지한다.
데이터 선택(Data Selection, DS): 교사 모델의 지도가 필요한 데이터와 그렇지 않은 데이터를 구분하여 선택적으로 적용한다. 이를 통해 잘못된 지도의 영향을 줄일 수 있다.
실험 결과, 제안된 LR과 DS 기법은 기존 지식 증류 방법들의 성능을 향상시킬 수 있음을 보여준다. 특히 교사와 학생 모델의 구조가 다른 경우에도 효과적으로 적용될 수 있다.
統計資料
교사 모델의 잘못된 예측으로 인해 학생 모델의 학습이 방해될 수 있다.
교사 모델의 모든 데이터에 대한 지도가 필요하지 않으며, 적절한 데이터 선택이 중요하다.
引述
"교사 모델의 잘못된 예측은 학생 모델의 학습 방향을 오도할 수 있다."
"데이터 선택 기법을 통해 잘못된 지도의 영향을 줄일 수 있다."