本論文は、ミラー反射を正確にモデル化し、高品質なノベルビュー合成を実現する新しいレンダリングフレームワーク「Mirror-3DGS」を提案している。
まず、3D ガウシアンにミラー属性を追加し、ミラー平面方程式を推定する。次に、ミラー平面を用いて現在のビューポイントと鏡像ビューポイントの2つの視点から描画し、最終的な画像を合成する。
提案手法は2段階の学習プロセスを採用する。第1段階では、ミラー内の内容を固定色で置き換えながら、ミラー属性とミラー平面方程式を学習する。第2段階では、推定したミラー平面方程式を用いて、現在のビューポイントと鏡像ビューポイントからの描画結果を融合する。
実験では、合成シーンと実世界シーンの両方で、提案手法が既存手法と同等以上の高品質なノベルビュー合成を実現し、特にミラー領域での性能が優れていることを示している。また、NeRF系手法と比べて大幅な学習時間の短縮と実時間レンダリングを実現している。
To Another Language
from source content
arxiv.org
Principais Insights Extraídos De
by Jiarui Meng,... às arxiv.org 04-02-2024
https://arxiv.org/pdf/2404.01168.pdfPerguntas Mais Profundas