Temel Kavramlar
혼합 패치 기법을 통해 단일 모델이 적외선과 가시광선 모달리티 모두에서 우수한 성능을 달성할 수 있다.
Özet
이 논문은 적외선(IR)과 가시광선(RGB) 모달리티를 효과적으로 활용하여 모달리티 무관 물체 탐지 모델을 개발하는 방법을 제안한다.
주요 내용은 다음과 같다:
- 혼합 패치(MiPa) 기법을 제안하여 단일 모델이 IR과 RGB 모달리티 모두에서 우수한 성능을 달성할 수 있도록 한다.
- MiPa는 패치 단위로 IR과 RGB 정보를 혼합하여 모델이 두 모달리티의 상호보완적인 정보를 효과적으로 학습할 수 있게 한다.
- 모달리티 무관 학습 기법을 통해 모델이 특정 모달리티에 편향되지 않도록 한다.
- 실험 결과, MiPa 기반 모델이 LLVIP, FLIR 등의 벤치마크에서 우수한 성능을 보였으며, 특히 LLVIP에서는 state-of-the-art를 달성했다.
- MiPa는 변환기 기반 백본에 효과적으로 적용될 수 있으며, 추론 시 모달리티 정보를 요구하지 않는다는 장점이 있다.
İstatistikler
제안 모델 MiPa는 LLVIP 벤치마크에서 AP50 98.2, AP75 78.1, AP 66.5를 달성했다.
FLIR 벤치마크에서 MiPa는 AP50 81.3, AP75 41.8, AP 44.8을 달성했다.
이는 기존 다중 모달리티 융합 기법들을 능가하는 성능이다.
Alıntılar
"MiPa became the state-of-the-art on the LLVIP visible/infrared benchmark."
"MiPa outperformed competitors on the LLVIP and became SOTA."