핵심 개념
欠落モダリティに対処するためのテスト時適応手法を提案し、既存手法よりも優れた性能を示す。
초록
本研究では、欠落モダリティに対処するためのテスト時適応手法を提案している。従来の手法は、モデルの再学習を必要とするため、大規模なデータセットを持つ場合には実用的ではない。
提案手法であるMiDl(Mutual information with self-Distillation)は、モデルの出力とモダリティ情報の相互情報量を最小化することで、モダリティに依存しない予測を行うようにモデルを適応させる。さらに、自己蒸留を組み合わせることで、完全なモダリティ入力時の性能も維持する。
実験の結果、MiDlは既存のテスト時適応手法よりも優れた性能を示し、モデルアーキテクチャや欠落モダリティの種類に依存せずに有効であることが確認された。また、長期的な適応や事前の無labeled データを利用した適応によってさらなる性能向上が得られることも示された。
통계
欠落モダリティ率が50%の場合、Epic-Soundsデータセットでベースラインの37.1%から38.9%へ、Epic-Kitchensデータセットで46.8%から52.1%へ精度が向上した。
欠落モダリティ率が75%の場合、Epic-Soundsデータセットでベースラインの28.3%から29.9%へ、Epic-Kitchensデータセットで37.9%から44.9%へ精度が向上した。
長期的な適応により、欠落モダリティ率100%の場合でも、Epic-Soundsデータセットで26.2%、Epic-Kitchensデータセットで41.4%の精度が得られた。
인용구
"欠落モダリティに対処するための既存手法は、モデルの再学習を必要とするため、大規模なデータセットを持つ場合には実用的ではない。"
"提案手法であるMiDlは、モデルの出力とモダリティ情報の相互情報量を最小化することで、モダリティに依存しない予測を行うようにモデルを適応させる。"