이 연구는 RGBT 추적에서 모달리티 누락 문제를 체계적으로 분석하고, 이를 해결하기 위한 새로운 접근법인 가역 프롬프트 학습 기법을 제안한다.
먼저, 열화상 센서 자체 보정 및 데이터 전송 오류 등의 요인으로 인해 발생할 수 있는 모달리티 누락 문제를 정의하고, 이를 해결하기 위해 가역 프롬프트 학습 기법을 도입한다. 이 기법은 가용한 모달리티 정보를 활용하여 누락된 모달리티의 프롬프트를 생성함으로써 RGBT 추적 모델의 적응성을 높인다.
그러나 가용 모달리티와 누락 모달리티 간의 cross-modality 갭으로 인해 프롬프트 생성 과정에서 의미 왜곡과 정보 손실이 발생할 수 있다. 이를 해결하기 위해 가역 프롬프트 생성기를 설계하여 생성된 프롬프트로부터 입력 가용 모달리티를 완전히 복원할 수 있도록 한다. 또한 추적 과제와의 정렬 손실을 도입하여 생성된 프롬프트의 식별력을 높인다.
아울러 실제 세계의 다양한 모달리티 누락 시나리오를 반영하기 위해 RGBT234-Miss, LasHeR245-Miss, VTUAV176-Miss 등 3개의 고품질 벤치마크 데이터셋을 구축하였다. 이를 통해 모달리티 누락 RGBT 추적에 대한 종합적인 평가 플랫폼을 제공한다.
실험 결과, 제안 방법은 모달리티 누락 및 모달리티 완전 시나리오에서 모두 기존 최신 RGBT 추적 방법들을 크게 능가하는 성능을 보였다.
Naar een andere taal
vanuit de broninhoud
arxiv.org
Belangrijkste Inzichten Gedestilleerd Uit
by Andong Lu,Ji... om arxiv.org 03-21-2024
https://arxiv.org/pdf/2312.16244.pdfDiepere vragen