본 논문은 데이터 없는 지식 증류(DFKD) 과정에서 발생하는 분포 변화 문제를 해결하기 위해 인과 추론 기반의 접근법을 제안한다.
먼저 DFKD 작업의 변수 간 인과 관계를 나타내는 인과 그래프를 설계하였다. 이를 통해 대체 데이터와 원본 데이터 간 분포 변화가 학생 모델 학습에 악영향을 미치는 것을 확인하였다.
이후 Knowledge Distillation Causal Intervention (KDCI) 프레임워크를 제안하여, 분포 변화로 인한 혼란 요인을 제거하고 학생 모델이 순수한 지식을 학습할 수 있도록 하였다. KDCI는 기존 DFKD 방법들과 유연하게 결합될 수 있다.
실험 결과, KDCI를 적용한 DFKD 모델들이 기존 모델 대비 CIFAR-100 데이터셋에서 최대 15.54%의 정확도 향상을 보였다. 이를 통해 KDCI가 DFKD 작업의 분포 변화 문제를 효과적으로 해결할 수 있음을 확인하였다.
To Another Language
from source content
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Yuzheng Wang... lúc arxiv.org 03-29-2024
https://arxiv.org/pdf/2403.19539.pdfYêu cầu sâu hơn