Centrala begrepp
본 논문은 무감독 가시광선-적외선 사람 재식별을 위해 의사 레이블 보정 및 모달리티 수준 정렬 전략을 제안한다. 이를 통해 모달리티 간 격차를 줄이고 식별 판별적이며 모달리티 불변적인 특징을 학습할 수 있다.
Sammanfattning
본 논문은 무감독 가시광선-적외선 사람 재식별(UVI-ReID) 문제를 다룬다. UVI-ReID는 레이블 없이도 다양한 환경에서 사람 탐지를 향상시킬 수 있어 주목받고 있다. 기존 방법은 모달리티 내 클러스터링과 모달리티 간 특징 매칭을 활용하지만, 두 가지 문제가 있다:
- 클러스터링 과정에서 노이즈 의사 레이블이 생성될 수 있다.
- 가시광선과 적외선 모달리티의 주변 분포를 매칭하는 모달리티 간 특징 정렬이 두 모달리티의 서로 다른 정체성을 잘못 정렬할 수 있다.
이를 해결하기 위해 본 논문은 다음 두 가지 전략을 제안한다:
- 의사 레이블 보정(PLC): 베타 혼합 모델을 사용하여 노이즈 확률을 예측하고, 이를 대비학습 손실에 반영하여 노이즈 레이블을 다룬다.
- 모달리티 수준 정렬(MLA): 양방향 변환 모듈을 통해 모달리티 간 쌍을 생성하고, 모달리티 간 정렬 손실을 통해 모달리티 간 격차를 줄인다.
실험 결과, 제안 방법은 기존 무감독 가시광선 ReID 방법보다 우수한 성능을 보였다.
Statistik
가시광선 이미지와 적외선 이미지 간 큰 모달리티 격차가 존재한다.
클러스터링 과정에서 노이즈 의사 레이블이 생성될 수 있다.
모달리티 간 특징 정렬 시 서로 다른 정체성이 잘못 정렬될 수 있다.
Citat
"Unsupervised visible-infrared person re-identification (UVI-ReID) has recently gained great attention due to its potential for enhancing human detection in diverse environments without labeling."
"Previous methods utilize intra-modality clustering and cross-modality feature matching to achieve UVI-ReID. However, there exist two challenges: 1) noisy pseudo labels might be generated in the clustering process, and 2) the cross-modality feature alignment via matching the marginal distribution of visible and infrared modalities may misalign the different identities from two modalities."