本研究では、欠落モダリティに対処するためのテスト時適応手法を提案している。従来の手法は、モデルの再学習を必要とするため、大規模なデータセットを持つ場合には実用的ではない。
提案手法であるMiDl(Mutual information with self-Distillation)は、モデルの出力とモダリティ情報の相互情報量を最小化することで、モダリティに依存しない予測を行うようにモデルを適応させる。さらに、自己蒸留を組み合わせることで、完全なモダリティ入力時の性能も維持する。
実験の結果、MiDlは既存のテスト時適応手法よりも優れた性能を示し、モデルアーキテクチャや欠落モダリティの種類に依存せずに有効であることが確認された。また、長期的な適応や事前の無labeled データを利用した適応によってさらなる性能向上が得られることも示された。
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Merey Ramaza... a las arxiv.org 04-24-2024
https://arxiv.org/pdf/2404.15161.pdfConsultas más profundas