本論文では、カメラ姿勢の情報がない状況でのスパースビューの合成手法を提案している。
まず、最初のビューの画像とモノラル深度推定結果を用いて、3D Gaussianスプラッティングによりコースな3Dシーンを構築する。次に、残りのビューを順次登録・調整しながら、3Dシーンを更新していく。登録では、前のビューの姿勢を初期値として、2D対応点に基づく最適化を行う。調整では、これまでに登録したカメラ姿勢とモノラル深度を同時に最適化し、整合性を取る。最後に、低周波フィルタリングとさらなる最適化を行い、高品質な新規ビューを生成する。
提案手法の特徴は以下の通り:
提案手法は、Tanks & Temples や Static Hikesデータセットにおいて、既存手法と比べて高いPSNR、SSIM、LPIPSの性能を示している。特に、わずか3-6枚の入力画像でも良好な結果が得られることが確認された。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Kaiwen Jiang... at arxiv.org 05-07-2024
https://arxiv.org/pdf/2405.03659.pdfDeeper Inquiries