본 논문은 RGB-적외선 물체 탐지를 위한 새로운 변환기 기반 방법인 C2Former를 제안한다. C2Former는 모달리티 간 보정과 보완적 융합을 동시에 수행한다.
모달리티 간 보정을 위해 Inter-modality Cross-Attention (ICA) 모듈을 설계하였다. ICA 모듈은 RGB와 적외선 모달리티 간 상관관계를 학습하여 보정된 특징을 생성한다.
계산 복잡도를 줄이기 위해 Adaptive Feature Sampling (AFS) 모듈을 제안하였다. AFS 모듈은 모달리티 간 오프셋을 예측하여 중요 영역을 선별적으로 샘플링한다.
C2Former는 ICA와 AFS 모듈을 결합하여 구현되었으며, 단일 단계 및 두 단계 물체 탐지기에 적용되었다.
DroneVehicle 및 KAIST RGB-IR 데이터셋에 대한 실험 결과, C2Former가 RGB-IR 보완 정보를 효과적으로 활용하여 강건한 탐지 성능을 달성함을 검증하였다.
다른 언어로
소스 콘텐츠 기반
arxiv.org
더 깊은 질문