Keskeiset käsitteet
XoFTR는 열화상과 가시광 영상 간 지역 특징 매칭을 위한 교차 모달 교차 뷰 방법을 제안한다. 마스크 이미지 모델링 사전 학습과 유사 열화상 증강을 통해 모달리티 차이를 다루며, 스케일 차이를 조정하고 부-픽셀 수준의 정제를 통해 매칭 신뢰도를 높인다.
Tiivistelmä
본 연구는 열화상 및 가시광 영상 간 지역 특징 매칭을 위한 XoFTR 방법을 제안한다. 열화상 영상은 가시광 영상에 비해 조명 및 기상 조건에 덜 민감하지만, 텍스처와 강도 차이로 인해 매칭이 어렵다는 문제가 있다.
XoFTR는 다음과 같은 핵심 구성요소를 가진다:
- 마스크 이미지 모델링 사전 학습: 열화상-가시광 영상 쌍의 비선형 강도 차이를 학습하여 모달리티 차이를 다룸
- 유사 열화상 증강: 가시광 영상을 유사 열화상으로 변환하여 미세조정 단계에서 모달리티 변화에 적응
- 스케일 차이 조정 및 부-픽셀 수준 정제: 스케일 차이를 해결하고 매칭 신뢰도를 높이는 정제 파이프라인
이를 통해 XoFTR는 다양한 관점, 스케일, 텍스처 변화에 강인한 성능을 보인다. 또한 새로운 열화상-가시광 데이터셋을 제안하여 방법을 종합적으로 평가하였다.
Tilastot
열화상 카메라는 일반적으로 해상도와 시야각이 낮다.
열화상 영상은 가시광 영상에 비해 텍스처와 강도 차이가 크다.
열화상-가시광 영상 매칭은 관점, 스케일, 텍스처 다양성으로 인해 어려움이 있다.
Lainaukset
"열화상 영상은 가시광 영상에 비해 조명 및 기상 조건에 덜 민감하지만, 텍스처와 강도 차이로 인해 매칭이 어렵다."
"XoFTR는 마스크 이미지 모델링 사전 학습과 유사 열화상 증강을 통해 모달리티 차이를 다루며, 스케일 차이를 조정하고 부-픽셀 수준의 정제를 통해 매칭 신뢰도를 높인다."