Alapfogalmak
잠재 확산 모델을 활용하여 신경 방사 필드 인페인팅 성능을 향상시키고, 마스크 적대적 훈련 방식으로 최적화 문제를 해결한다.
Kivonat
이 논문은 신경 방사 필드(NeRF) 인페인팅 문제를 다룹니다. NeRF 인페인팅은 입력 이미지에 가려진 영역을 완성하여 새로운 관점에서 고품질의 이미지를 합성하는 작업입니다.
저자들은 잠재 확산 모델(Latent Diffusion Model)을 활용하여 입력 이미지를 인페인팅하고, 마스크 적대적 훈련 방식을 통해 NeRF 최적화 문제를 해결합니다.
구체적으로:
잠재 확산 모델을 사용하여 입력 이미지를 인페인팅하지만, 이 과정에서 발생하는 3D 불일치와 텍스처 차이 문제를 해결하기 위해 마스크 적대적 훈련 방식을 제안합니다.
각 장면에 맞춰 잠재 확산 모델을 미세 조정하여 일관성 있는 인페인팅 결과를 얻습니다.
픽셀 거리 손실 대신 적대적 손실과 판별기 특징 매칭 손실을 사용하여 인페인팅 영역의 고주파 세부 정보를 보존합니다.
실험 결과, 제안 방식인 MALD-NeRF가 기존 방식보다 우수한 NeRF 인페인팅 성능을 보여줍니다.
Statisztikák
입력 이미지와 마스크를 사용하여 고품질 새 관점 렌더링을 생성할 수 있습니다.
인페인팅 영역에 사실적이고 고주파 세부 정보가 포함됩니다.
Idézetek
"잠재 확산 모델을 활용한 NeRF 인페인팅은 여전히 비현실적인 시각적 외관과 잘못된 기하학을 보여줍니다."
"2D 잠재 확산 모델로 인페인팅된 이미지는 관찰된 픽셀과 텍스처 차이가 있습니다."