本論文は、任意のモダリティ(RGB、深度、サーマル)から顕著物体を検出するための新しいモダリティ適応型トランスフォーマー(MAT)を提案している。
まず、モダリティ適応型特徴抽出器(MAFE)を提案し、モダリティプロンプトを使ってモデルの特徴空間を各モダリティの特性に合わせて調整することで、任意のモダリティから識別性の高い特徴を抽出する。さらに、モダリティ変換拘束(MTC)損失関数を導入し、モダリティプロンプトをより識別性の高いものに学習する。
次に、チャンネル方向とスペース方向の動的融合モジュール(CDFM、SDFM)を組み合わせた融合ストラテジー(CSFH)を提案する。CSFH は、特徴の階層に応じて適切なモジュールを使い分けることで、モダリティ間の相補的な意味情報と詳細情報を効果的に捉える。
最終的に、提案手法は既存手法と比べて大幅な性能向上を達成している。特に、任意のモダリティ入力に対して適応的に特徴を抽出・融合できるため、幅広い応用が期待できる。
Ke Bahasa Lain
dari konten sumber
arxiv.org
Wawasan Utama Disaring Dari
by Nianchang Hu... pada arxiv.org 05-07-2024
https://arxiv.org/pdf/2405.03351.pdfPertanyaan yang Lebih Dalam