核心概念
본 연구는 단일 이미지 기반 깊이 예측 모델의 불확실성을 고려하여 신경 방사 필드를 효과적으로 학습하는 방법을 제안한다. 기존 방식과 달리 정확한 깊이 정보를 강제하지 않고, 지구 이동 거리(Earth Mover's Distance)를 활용하여 깊이 정보를 부드럽게 반영함으로써 장면의 기하학적 구조를 더욱 정확하게 학습할 수 있다.
摘要
본 연구는 신경 방사 필드(NeRF)의 성능 향상을 위해 깊이 정보를 활용하는 새로운 방법을 제안한다. 기존 연구에서는 단일 이미지 기반 깊이 예측 모델의 출력을 NeRF 학습에 직접 활용하였지만, 이는 깊이 예측의 불확실성을 고려하지 않아 NeRF의 기하학적 이해도가 낮아지는 문제가 있었다.
본 연구에서는 사전 학습된 확산 모델(DiffDP)을 활용하여 깊이 정보와 함께 불확실성 정보를 얻는다. 이를 바탕으로 지구 이동 거리(EMD)를 이용하여 NeRF의 ray 종료 거리 분포를 깊이 정보에 부드럽게 맞추는 방식으로 학습을 진행한다. 이를 통해 정확한 깊이 정보가 없더라도 장면의 기하학적 구조를 효과적으로 학습할 수 있다.
실험 결과, 본 방법은 기존 깊이 정보 기반 NeRF 학습 방법들에 비해 깊이 예측 정확도를 크게 향상시켰으며, 동시에 사진 측정 지표에서도 우수한 성능을 보였다. 이는 본 방법이 장면의 기하학적 구조를 더욱 정확하게 학습할 수 있음을 보여준다.
統計資料
단일 이미지 기반 깊이 예측 모델(DiffDP)의 깊이 오차는 불확실한 영역에서 63% 더 크다.
본 방법은 불확실한 영역의 깊이 RMSE를 5.1% 개선할 수 있다.
SCADE 방법의 깊이 오차는 랜덤 시드에 따라 크게 변동되지만, 본 방법은 일관되게 우수한 성능을 보인다.
引述
"우리는 깊이 정보가 완벽하지 않다는 것을 알고 있기 때문에, 신경 방사 필드의 ray 종료 거리 분포를 깊이 정보에 직접 강제하는 것이 아니라 지구 이동 거리를 통해 부드럽게 반영하고자 한다."
"기존 방법들은 깊이 정보의 불확실성을 고려하지 않았지만, 본 연구에서는 확산 모델을 활용하여 깊이 정보와 함께 불확실성 정보를 얻고 이를 효과적으로 활용한다."