データ非依存型知識蒸留における分布シフトの問題に取り組む

データ非依存型知識蒸留(DFKD)タスクにおいて、生成ベースまたはサンプリングベースの手法で得られる代替データと元のデータ分布の間の深刻な分布シフトが、学生モデルの性能ボトルネックとなっている。本研究では、因果推論の新しい視点を導入し、KDCI(Knowledge Distillation Causal Intervention)フレームワークを提案することで、これらの有害な分布シフトの影響を和らげる。