이 논문은 신경 방사 필드(NeRF)의 복원 문제를 다룬다. NeRF는 새로운 관점 합성과 3D 재구성에 큰 잠재력을 보여주었지만, 입력 이미지 품질에 민감하여 저품질 희소 입력 관점으로는 고품질 렌더링을 달성하기 어렵다.
기존 NeRF 복원 방법은 특정 열화 유형에 맞춰져 있어 일반성이 부족하다. 이를 극복하기 위해 RaFE라는 일반적인 방사 필드 복원 파이프라인을 제안한다. RaFE는 다양한 열화 유형에 적용될 수 있다.
RaFE는 두 단계로 구성된다. 첫째, 2D 복원 모델을 사용하여 개별 다중 뷰 이미지를 고품질로 복원한다. 둘째, 생성적 적대 신경망(GAN)을 사용하여 이러한 고품질 다중 뷰 이미지의 분포를 모델링하고 이를 통해 고품질 방사 필드를 생성한다. 이를 통해 기하학적 및 외관 불일치를 효과적으로 수용할 수 있다.
실험 결과, RaFE는 다양한 복원 작업(super-resolution, 디블러링, 디노이징, 혼합 열화)에서 우수한 성능을 보여준다. 기하학적 정확도와 외관 충실도가 모두 향상되었다.
To Another Language
from source content
arxiv.org
Principais Insights Extraídos De
by Zhongkai Wu,... às arxiv.org 04-05-2024
https://arxiv.org/pdf/2404.03654.pdfPerguntas Mais Profundas