이 논문은 객체 탐지기의 분류 및 회귀 과제를 모두 고려하여 학생 모델의 실제 학습 상태를 정확하게 반영하는 지식 증류 방법을 제안한다.
먼저, 이중 과제 중요도 평가 모듈에서 각 특징점의 분류 및 회귀 결과를 정량화하여 특징점의 중요도를 평가한다. 이를 통해 학생 모델의 실제 학습 상태를 보다 정확하게 파악할 수 있다.
다음으로, 학습 동역학 평가 모듈에서는 교사 모델과 학생 모델의 출력 결과를 활용하여 강점 영역과 약점 영역을 구분한다. 이를 통해 학생 모델의 실제 학습 상태를 보다 정확하게 반영할 수 있다.
마지막으로, 선택적 특징 분리 모듈에서는 학생 모델의 학습 상태를 기반으로 특징을 고가치, 중가치, 저가치 영역으로 분리하여 지식 증류를 수행한다.
제안 방법은 객체 탐지기의 분류 및 회귀 과제를 모두 고려하여 학생 모델의 실제 학습 상태를 정확하게 반영함으로써, 기존 방법들에 비해 우수한 성능을 보인다.
На другой язык
из исходного контента
arxiv.org
Дополнительные вопросы