이 연구는 RGBT 추적에서 모달리티 누락 문제를 체계적으로 분석하고, 이를 해결하기 위한 새로운 접근법인 가역 프롬프트 학습 기법을 제안한다.
먼저, 열화상 센서 자체 보정 및 데이터 전송 오류 등의 요인으로 인해 발생할 수 있는 모달리티 누락 문제를 정의하고, 이를 해결하기 위해 가역 프롬프트 학습 기법을 도입한다. 이 기법은 가용한 모달리티 정보를 활용하여 누락된 모달리티의 프롬프트를 생성함으로써 RGBT 추적 모델의 적응성을 높인다.
그러나 가용 모달리티와 누락 모달리티 간의 cross-modality 갭으로 인해 프롬프트 생성 과정에서 의미 왜곡과 정보 손실이 발생할 수 있다. 이를 해결하기 위해 가역 프롬프트 생성기를 설계하여 생성된 프롬프트로부터 입력 가용 모달리티를 완전히 복원할 수 있도록 한다. 또한 추적 과제와의 정렬 손실을 도입하여 생성된 프롬프트의 식별력을 높인다.
아울러 실제 세계의 다양한 모달리티 누락 시나리오를 반영하기 위해 RGBT234-Miss, LasHeR245-Miss, VTUAV176-Miss 등 3개의 고품질 벤치마크 데이터셋을 구축하였다. 이를 통해 모달리티 누락 RGBT 추적에 대한 종합적인 평가 플랫폼을 제공한다.
실험 결과, 제안 방법은 모달리티 누락 및 모달리티 완전 시나리오에서 모두 기존 최신 RGBT 추적 방법들을 크게 능가하는 성능을 보였다.
In eine andere Sprache
aus dem Quellinhalt
arxiv.org
Wichtige Erkenntnisse aus
by Andong Lu,Ji... um arxiv.org 03-21-2024
https://arxiv.org/pdf/2312.16244.pdfTiefere Fragen