본 연구는 신경 방사 필드(NeRF)의 성능 향상을 위해 깊이 정보를 활용하는 새로운 방법을 제안한다. 기존 연구에서는 단일 이미지 기반 깊이 예측 모델의 출력을 NeRF 학습에 직접 활용하였지만, 이는 깊이 예측의 불확실성을 고려하지 않아 NeRF의 기하학적 이해도가 낮아지는 문제가 있었다.
본 연구에서는 사전 학습된 확산 모델(DiffDP)을 활용하여 깊이 정보와 함께 불확실성 정보를 얻는다. 이를 바탕으로 지구 이동 거리(EMD)를 이용하여 NeRF의 ray 종료 거리 분포를 깊이 정보에 부드럽게 맞추는 방식으로 학습을 진행한다. 이를 통해 정확한 깊이 정보가 없더라도 장면의 기하학적 구조를 효과적으로 학습할 수 있다.
실험 결과, 본 방법은 기존 깊이 정보 기반 NeRF 학습 방법들에 비해 깊이 예측 정확도를 크게 향상시켰으며, 동시에 사진 측정 지표에서도 우수한 성능을 보였다. 이는 본 방법이 장면의 기하학적 구조를 더욱 정확하게 학습할 수 있음을 보여준다.
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Anita Rau,Jo... a las arxiv.org 03-21-2024
https://arxiv.org/pdf/2403.13206.pdfConsultas más profundas