Centrala begrepp
提案手法MiPaは、変換器ベースの特徴抽出器を活用して、異なるモーダリティ間の相互情報を統合することで、単一のモデルで両モーダリティ(赤外線と可視光)の物体検出を高い精度で実現する。
Sammanfattning
本研究では、赤外線と可視光の2つのモーダリティを効率的に活用するための新しい手法「MiPa(Mixed Patch)」を提案している。
MiPaの主な特徴は以下の通り:
- パッチベースの変換器特徴抽出器を活用し、両モーダリティの相互情報を統合する。
- 訓練時にはランダムにパッチを混合することで、モデルがどちらのモーダリティでも高い性能を発揮できるようにする。
- モーダリティ識別器を導入し、特徴抽出器がモーダリティに依存しないよう学習を促す。
- 推論時には単一のモーダリティのみを入力として受け付けるため、計算コストが増加しない。
実験の結果、提案手法MiPaは、LLVIP、FLIR、KAISTの各ベンチマークデータセットにおいて、個別のモーダリティ検出精度が高く、かつ両モーダリティの平均精度も優れていることが示された。特に、LLVIPデータセットでは、従来手法を上回る最先端の性能を達成した。さらに、MiPaを強いモーダリティの正則化手法として活用することで、マルチモーダル融合手法を上回る性能を得られることも確認された。
Statistik
赤外線モーダリティの物体検出精度(AP50)は96.97%に達した。
可視光モーダリティの物体検出精度(AP50)は88.70%に達した。
両モーダリティの平均物体検出精度(AP50)は92.83%に達した。
Citat
"提案手法MiPaは、変換器ベースの特徴抽出器を活用して、異なるモーダリティ間の相互情報を統合することで、単一のモデルで両モーダリティ(赤外線と可視光)の物体検出を高い精度で実現する。"
"MiPaを強いモーダリティの正則化手法として活用することで、マルチモーダル融合手法を上回る性能を得られることも確認された。"