Core Concepts
중간 융합 프레임워크와 다형태, 다단계 프롬프트를 활용하여 RGB-T 추적 성능과 효율성을 최적화하는 방법을 제안한다.
Abstract
이 논문은 RGB-T 추적을 위한 새로운 중간 융합 프레임워크와 다형태, 다단계 프롬프트 기법을 제안한다.
중간 융합 프레임워크:
백본을 두 부분으로 나누어 첫 번째 부분은 단일 모달리티 특징 추출, 두 번째 부분은 융합 모달리티 특징 강화
중간 융합 모듈을 통해 성능과 효율성의 균형을 달성
다형태, 다단계 프롬프트:
단일 모달리티 탐색 프롬프트: 모달리티 독립적 패턴 추출 및 프롬프트 생성
중간 융합 프롬프트: 적응적 융합 특징 생성 및 프롬프트로 활용
융합 모달리티 강화 프롬프트: 융합 특징 표현 향상
모달리티-인지 및 단계-인지 프롬프트: 모달리티와 단계 정보 제공
이를 통해 성능과 효율성이 균형 잡힌 강건한 RGB-T 추적 모델을 개발하였다.
Stats
RGB-T 추적 데이터셋 LasHer에서 제안 모델의 예측 정확도(PR)는 67.3%로 가장 높은 수준이다.
제안 모델의 정규화된 예측 정확도(NPR)는 63.9%로 가장 높은 수준이다.
제안 모델의 성공률(SR)은 54.2%로 가장 높은 수준이다.
제안 모델의 추론 속도는 46.1 fps로 매우 빠르다.
Quotes
"중간 융합 프레임워크는 성능과 효율성의 균형을 달성할 수 있다."
"다형태, 다단계 프롬프트는 모달리티 독립적 패턴 추출, 적응적 융합, 융합 특징 표현 향상을 가능하게 한다."