クロスモーダル学習における対照学習理論の分析

クロスモーダル知識蒸留は、限られた知識を持つデータモダリティ(深度マップ、高品質スケッチなど)に重要な技術である。本研究では、対照学習に基づくクロスモーダル知識蒸留の一般的なフレームワークを提案し、理論的な収束分析を行う。その結果、ソースモダリティとターゲットモダリティ間の全変動距離が小さいほど、ターゲットモダリティの下流タスクの性能が高くなることを示す。