이 논문은 카메라 위치 추정을 위한 새로운 신경 볼륨 포즈 특징인 PoseMap을 제안한다. PoseMap은 이미지와 카메라 포즈 간의 암시적 정보를 캡처하여 카메라 위치 추정 정확도를 높인다.
논문의 주요 내용은 다음과 같다:
PoseMap: 기존 NeRF 모델에 포즈 특징 추출 브랜치를 추가하여 이미지와 카메라 포즈 간의 암시적 정보를 학습한다. 이를 통해 PoseMap을 생성할 수 있다.
APR 아키텍처: PoseMap을 활용하여 절대 포즈 회귀(APR) 모델을 학습한다. 이미지 특징과 포즈 특징 간의 차이를 최소화하도록 모델을 최적화한다.
자기 지도 온라인 정렬: 레이블이 없는 이미지를 활용하여 사전 학습된 APR 모델을 미세 조정할 수 있는 자기 지도 온라인 정렬 기법을 제안한다.
실험 결과, 제안 방법은 기존 APR 방법 대비 실내 14.28%, 실외 20.51% 성능 향상을 달성하며 최신 수준의 정확도를 보인다. 특히 학습 데이터가 부족한 경우에도 강건한 성능을 보인다.
In un'altra lingua
dal contenuto originale
arxiv.org
Approfondimenti chiave tratti da
by Jingyu Lin,J... alle arxiv.org 03-20-2024
https://arxiv.org/pdf/2403.12800.pdfDomande più approfondite