Core Concepts
신경 방사 필드(NeRF)의 자체 신규 뷰 합성 능력을 활용하여 기하학적 일관성을 향상시킬 수 있다.
Abstract
이 논문은 신경 방사 필드(NeRF)의 자체 신규 뷰 합성 능력을 활용하여 기하학적 일관성을 향상시키는 Re-Nerfing이라는 간단하고 일반적인 다단계 데이터 증강 접근법을 제안한다.
첫째, 사용 가능한 뷰로 NeRF를 학습한다. 둘째, 최적화된 NeRF를 사용하여 뷰 선택 전략을 통해 원래 뷰 주변에 의사 뷰를 합성한다. 셋째, 불확실한 영역을 마스킹하여 원래 이미지와 의사 뷰로 두 번째 NeRF를 학습한다.
이 접근법은 외부 데이터나 감독 없이도 밀집 및 희소 입력 시나리오에서 성능 향상을 달성할 수 있다. 다양한 파이프라인(3D Gaussian Splatting, PyNeRF, Instant-NGP)에 적용하여 상당한 개선 효과를 보여준다.
Stats
신경 방사 필드(NeRF)는 수백 개의 뷰가 필요하거나 희소 설정에서 인공물을 도입한다.
신경 방사 필드(NeRF)의 최적화는 시각적 중첩이 작은 곳에서 모양-방사 모호성으로 인해 잘못된 장면 기하와 인공물이 발생한다.
Quotes
"신경 방사 필드(NeRF)는 대규모 무제한 장면에서도 놀라운 신규 뷰 합성 기능을 보여주었지만, 수백 개의 뷰가 필요하거나 희소 설정에서 인공물을 도입했다."
"신경 방사 필드(NeRF)의 최적화는 시각적 중첩이 작은 곳에서 모양-방사 모호성으로 인해 잘못된 장면 기하와 인공물이 발생한다."