本論文は、特権的知識蒸留のための新しい構造的知識蒸留メカニズムを提案している。従来の特権的知識蒸留手法は、教師モデルと学生モデルの特徴表現を点対点で一致させるものであり、教師モデルの多様なモダリティ間の構造的知識を捉えることができない。
提案手法では、教師モデルの特徴表現の類似度行列を計算し、その構造的知識を最適輸送を用いて学生モデルに蒸留する。さらに、安定した蒸留プロセスを実現するため、上位k個の代表点を選択して最適輸送を適用する。
提案手法は、痛み推定タスクのBiovid datasetと感情価・覚醒度推定タスクのAffwild2 datasetで評価された。実験結果から、提案手法が従来の特権的知識蒸留手法を上回るパフォーマンスを示すことが確認された。また、提案手法はモダリティやモデルに依存せず、汎用的に適用可能であることが示された。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Muhammad Has... at arxiv.org 04-29-2024
https://arxiv.org/pdf/2401.15489.pdfDeeper Inquiries