단일 이미지에서 깊이 정보와 의미론적 정보를 추출하고, 개별 구성 요소에 대한 단일 샷 객체 수준 방법을 활용하여 복잡한 3D 장면을 완전히 재구성하는 방법을 제안합니다.
본 연구는 단일 이미지 기반 깊이 예측 모델의 불확실성을 고려하여 신경 방사 필드를 효과적으로 학습하는 방법을 제안한다. 기존 방식과 달리 정확한 깊이 정보를 강제하지 않고, 지구 이동 거리(Earth Mover's Distance)를 활용하여 깊이 정보를 부드럽게 반영함으로써 장면의 기하학적 구조를 더욱 정확하게 학습할 수 있다.
깊이 정보 예측의 불확실성을 고려하여 NeRF 학습을 개선하는 새로운 접근법을 제안한다. 지구 이동 거리(Earth Mover's Distance)를 활용하여 NeRF의 ray 종료 거리 분포를 깊이 정보 사전 지식과 효과적으로 정렬시킴으로써, 정확한 장면 기하학을 학습할 수 있다.
ThermoNeRF는 열화상과 RGB 영상을 함께 학습하여 새로운 열화상과 RGB 영상을 합성할 수 있는 다중 모달 신경 방사 필드 모델이다.
본 연구는 사전 학습된 NeRF 모델을 활용하여 물체 재구성을 신속하게 반영할 수 있는 방법을 제안한다. 이를 위해 추가 촬영한 소수의 이미지를 활용하여 장면 변화를 감지하고 NeRF를 효과적으로 업데이트한다.