이 논문은 희소한 입력 영상에서 카메라 자세 정보 없이도 새로운 관점을 효과적으로 합성하는 구축-최적화 방법을 제안한다.
먼저, 모노큘러 깊이 정보를 이용하여 3D 가우시안 스플래팅 기반으로 초기 솔루션을 구축한다. 그 다음, 훈련 영상과 렌더링된 영상 간의 2D 대응점을 이용한 최적화를 통해 카메라 자세와 깊이 정보를 정렬한다. 이를 위해 가우시안 스플래팅에서 기대 표면을 더 정확하게 근사하는 방법을 제안한다.
제안 방법은 Tanks & Temples 및 Static Hikes 데이터셋에서 기존 방법들보다 우수한 성능을 보인다. 특히 3-6개의 희소한 입력 영상을 사용할 때 큰 성능 향상을 보인다. 또한 입력 영상 수가 늘어날수록 성능이 지속적으로 향상되며, 카메라 자세 정보를 활용하는 방법들보다도 우수한 결과를 달성한다.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Kaiwen Jiang... at arxiv.org 05-07-2024
https://arxiv.org/pdf/2405.03659.pdfDeeper Inquiries