이 논문은 가시광선-적외선 사람 재식별을 위한 새로운 양방향 다단계 도메인 일반화 방법을 제안한다.
첫째, 부분 프로토타입 정렬 학습 모듈을 통해 가시광선과 적외선 모달리티 간 의미적으로 정렬되고 식별력 있는 부분 프로토타입을 추출한다. 이 프로토타입은 사람의 특정 부위 특징을 나타내며, 모달리티 간 교환을 통해 점진적으로 중간 표현 공간을 생성할 수 있다.
둘째, 양방향 다단계 학습 모듈은 각 단계에서 두 모달리티의 부분 프로토타입을 점진적으로 혼합하여 중간 특징 공간을 생성한다. 이를 통해 최종 특징 표현에서 모달리티 특정 정보를 점진적으로 줄일 수 있다.
실험 결과, 제안 방법은 SYSU-MM01 및 RegDB 데이터셋에서 최신 기술을 능가하는 성능을 보였다. 또한 다른 최신 부분 기반 가시광선-적외선 재식별 방법에 통합할 수 있으며, 이를 통해 재식별 정확도를 크게 향상시킬 수 있다.
לשפה אחרת
מתוכן המקור
arxiv.org
תובנות מפתח מזוקקות מ:
by Mahdi Alehda... ב- arxiv.org 03-19-2024
https://arxiv.org/pdf/2403.10782.pdfשאלות מעמיקות