모달리티 누락 RGBT 추적: 가역 프롬프트 학습 및 고품질 벤치마크

Kernekoncepter

모달리티 누락 시나리오에서 가역 프롬프트 학습 기법을 통해 강건한 RGBT 추적을 수행한다.

Resumé

이 연구는 RGBT 추적에서 모달리티 누락 문제를 체계적으로 분석하고, 이를 해결하기 위한 새로운 접근법인 가역 프롬프트 학습 기법을 제안한다.

먼저, 열화상 센서 자체 보정 및 데이터 전송 오류 등의 요인으로 인해 발생할 수 있는 모달리티 누락 문제를 정의하고, 이를 해결하기 위해 가역 프롬프트 학습 기법을 도입한다. 이 기법은 가용한 모달리티 정보를 활용하여 누락된 모달리티의 프롬프트를 생성함으로써 RGBT 추적 모델의 적응성을 높인다.

그러나 가용 모달리티와 누락 모달리티 간의 cross-modality 갭으로 인해 프롬프트 생성 과정에서 의미 왜곡과 정보 손실이 발생할 수 있다. 이를 해결하기 위해 가역 프롬프트 생성기를 설계하여 생성된 프롬프트로부터 입력 가용 모달리티를 완전히 복원할 수 있도록 한다. 또한 추적 과제와의 정렬 손실을 도입하여 생성된 프롬프트의 식별력을 높인다.

아울러 실제 세계의 다양한 모달리티 누락 시나리오를 반영하기 위해 RGBT234-Miss, LasHeR245-Miss, VTUAV176-Miss 등 3개의 고품질 벤치마크 데이터셋을 구축하였다. 이를 통해 모달리티 누락 RGBT 추적에 대한 종합적인 평가 플랫폼을 제공한다.

실험 결과, 제안 방법은 모달리티 누락 및 모달리티 완전 시나리오에서 모두 기존 최신 RGBT 추적 방법들을 크게 능가하는 성능을 보였다.

Statistik

모달리티 누락으로 인한 성능 저하가 심각하며, 기존 방법들의 성능이 크게 저하됨.
제안 방법은 모달리티 누락 시나리오에서 기존 최신 방법들보다 PR 8.8%, SR 5.0% 향상된 성능을 보임.
제안 방법은 모달리티 완전 시나리오에서도 기존 최신 방법들을 능가하는 성능을 보임.

Citater

"모달리티 누락 시나리오에서 기존 RGBT 추적기들은 심각한 성능 저하를 겪는다."
"제안 방법은 모달리티 누락 및 모달리티 완전 시나리오에서 모두 기존 최신 RGBT 추적 방법들을 크게 능가하는 성능을 보였다."

Vigtigste indsigter udtrukket fra

Modality-missing RGBT Tracking

by Andong Lu,Ji... kl. arxiv.org 03-21-2024

https://arxiv.org/pdf/2312.16244.pdf

Dybere Forespørgsler

모달리티 누락 문제를 해결하기 위한 다른 접근법은 무엇이 있을까?

이 연구에서 제안된 가역 프롬프트 생성 기법 외에도 모달리티 누락 문제를 해결하기 위한 다른 접근법이 있습니다. 예를 들어, 다양한 보상 전략을 활용하여 누락된 데이터를 보완하는 방법이 있을 수 있습니다. 이러한 보상 전략은 "Zero", "Copy", "GAN"과 같은 방법으로 누락된 데이터를 대체하거나 생성할 수 있습니다. 또한, 다중 모달리티 정보를 효과적으로 활용하는 방법이나 다양한 모델 아키텍처를 조합하여 모달리티 누락 문제에 대응하는 방법도 고려될 수 있습니다.

가역 프롬프트 생성 기법이 다른 컴퓨터 비전 문제에도 적용될 수 있을까?

가역 프롬프트 생성 기법은 다른 컴퓨터 비전 문제에도 적용될 수 있습니다. 이 기법은 다양한 모달리티 정보를 효과적으로 활용하여 모달리티 누락 문제를 해결하는 방법으로 설계되었지만, 다른 문제에도 적용할 수 있는 유연성을 가지고 있습니다. 예를 들어, 이미지 분할, 객체 감지, 이미지 생성 등의 다른 컴퓨터 비전 작업에서도 다중 모달리티 정보를 효과적으로 활용하여 성능을 향상시킬 수 있을 것입니다.

모달리티 누락 RGBT 추적 문제를 해결하는 것 외에 이 연구가 가져올 수 있는 더 큰 영향은 무엇일까?

이 연구가 모달리티 누락 RGBT 추적 문제를 해결하는 것 외에도 더 큰 영향을 가져올 수 있는 여러 가지 측면이 있습니다. 첫째, 이 연구는 다중 모달리티 정보를 효과적으로 활용하는 새로운 방법론을 제시함으로써 컴퓨터 비전 분야에 새로운 아이디어를 제공합니다. 둘째, 고품질의 벤치마크 데이터셋을 구축하여 모델의 성능을 평가하는 표준을 제시함으로써 연구자들에게 유용한 도구를 제공합니다. 셋째, 가역 프롬프트 생성 기법과 같은 혁신적인 방법론을 통해 다른 분야에서도 새로운 연구 방향을 제시할 수 있습니다. 이러한 영향은 컴퓨터 비전 및 기계 학습 분야에서의 연구 및 응용 프로그램에 긍정적인 영향을 미칠 것으로 기대됩니다.