核心概念
不完全モダリティ下でのマルチモーダル感情分析のためのCorrKDフレームワークを提案する。サンプルレベルの対照学習、カテゴリガイド型プロトタイプ蒸留、応答分離型一貫性蒸留の3つの核心的な要素により、欠損モダリティの意味を効果的に再構築し、ロバストな共同マルチモーダル表現を生成する。
要約
本論文は、不完全モダリティ下でのマルチモーダル感情分析(MSA)タスクに取り組むCorrKDフレームワークを提案している。
まず、サンプルレベルの対照学習メカニズムを提案し、サンプル間の相関を捉えることで、欠損セマンティクスを精確に再構築する。次に、カテゴリガイド型プロトタイプ蒸留メカニズムを導入し、カテゴリ間の相関を活用して、感情関連情報を保持し、ロバストな共同マルチモーダル表現を生成する。さらに、応答分離型一貫性蒸留戦略を提案し、異種応答の分離と同種応答間の相互情報最大化により、感情判断境界を最適化する。
これらの核心的な要素により、CorrKDは不完全モダリティ下でも優れたMSA性能を発揮し、3つのマルチモーダルベンチマークデータセットで顕著な改善を示した。定量的・定性的な実験結果から、CorrKDのロバスト性と有効性が確認された。
統計
不完全モダリティ下でも、CorrKDは平均F1スコアで他手法を0.85%改善した。
言語モダリティのみ利用する条件下でも、CorrKDは他手法を3.72%上回った。
CorrKDは、サンプルレベルの対照学習を除去すると性能が大幅に低下した。これは、サンプル間相関の活用が欠損セマンティクスの再構築に不可欠であることを示している。
カテゴリガイド型プロトタイプ蒸留を除去すると、特に不完全モダリティ条件下で性能が大きく低下した。これは、カテゴリ間相関のモデル化が頑健な共同表現学習に重要であることを示している。
応答分離型一貫性蒸留を除去すると、性能が低下した。これは、異種応答の分離と同種応答間の相互情報最大化が感情判断境界の最適化に寄与することを示している。
引用
"相関は欠損の霧の中を照らす灯台である。"
"完全モダリティを前提とした手法は、現実世界のシナリオに合致しない。"
"サンプルレベルの対照学習、カテゴリガイド型プロトタイプ蒸留、応答分離型一貫性蒸留は、CorrKDの3つの核心的な要素である。"