本研究は、3D Gaussian Splatting (3D-GS) による新規視点合成手法について分析を行っている。3D-GSは、3D Gaussianプリミティブを用いて効率的な実時間レンダリングを実現するが、複雑なシーンでは過剰な再構築により画質が劣化する問題がある。
研究では、この問題の根本原因が3D-GSの適応的密度制御戦略にある勾配の衝突にあることを明らかにした。具体的には、3D-GSでは視点空間位置勾配を基準に大きなGaussianを分割するが、各ピクセルの部分勾配の方向が一致しないため、全体の勾配の大きさが小さくなり、過剰再構築領域の大きなGaussianを分割できないという問題がある。
そこで本研究では、ピクセル単位の部分勾配の絶対値の和を用いる「均一方向勾配」を新たな基準として提案した。これにより、過剰再構築領域の大きなGaussianを効果的に分割でき、高品質な新規視点合成を実現できる。
実験の結果、提案手法は既存手法に比べて高いPSNR、SSIM、LPIPSの値を示し、メモリ消費も同等以下に抑えられることを確認した。また、可視化の結果から、提案手法が過剰再構築領域の大きなGaussianを適切に分割できていることが示された。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Zongxin Ye,W... at arxiv.org 04-17-2024
https://arxiv.org/pdf/2404.10484.pdfDeeper Inquiries