Core Concepts
NeRF 모델을 활용하여 초기 포즈 추정 없이도 실시간으로 6DoF 카메라 포즈를 추정할 수 있는 방법을 제안한다.
Abstract
본 논문은 NeRF 모델을 활용하여 6DoF 카메라 포즈를 추정하는 IFFNeRF 방법을 소개한다. IFFNeRF는 초기 포즈 추정 없이도 실시간으로 포즈를 추정할 수 있다는 장점이 있다.
IFFNeRF는 다음과 같은 과정을 거친다:
Metropolis-Hastings 알고리즘을 사용하여 NeRF 모델 내부의 표면 점들을 샘플링한다.
각 표면 점에서 등간격 셀 분포로 다수의 ray를 생성한다.
생성된 ray와 입력 이미지 간의 attention 매커니즘을 통해 관련성이 높은 ray를 선별한다.
선별된 ray들을 이용하여 최소 제곱법으로 카메라 포즈를 추정한다.
실험 결과, IFFNeRF는 기존 iNeRF 대비 각도 오차와 위치 오차를 각각 80.1%, 67.3% 개선하였으며, 실시간 성능(34fps)을 달성하였다. 또한 초기 포즈 추정 없이도 강건한 성능을 보였다.
Stats
각도 오차 평균: 21.5도
위치 오차 평균: 0.629 단위
Quotes
"IFFNeRF는 실시간으로 작동하며 초기 포즈 추정이 필요하지 않다는 장점이 있다."
"IFFNeRF는 기존 iNeRF 대비 각도 오차와 위치 오차를 각각 80.1%, 67.3% 개선하였다."