Conceptos Básicos
限られた4つの視点からでも、ガウシアンスプラッティングと構造的プライオリティを組み合わせることで、高品質な3D物体の再構築が可能である。
Resumen
本研究は、極端にスパースな4つの視点からでも高品質な3D物体の再構築を可能にするGaussianObjectフレームワークを提案している。
まず、視覚的ボリュームと浮遊物除去の手法を用いて、初期の3DガウシアンモデルGcを最適化する。これにより、限られた視点からでも多視点の整合性を保つことができる。
次に、自己生成戦略を用いて、ガウシアンの属性に3Dノイズを加えたり、leave-one-outの訓練を行ったりすることで、修復モデルRを構築する。Rは、欠落または高圧縮された物体情報を補完し、レンダリング品質を向上させる。
さらに、距離に応じたサンプリングを用いて、Gcを修復モデルで最適化することで、最終的な高品質な3D物体再構築を実現する。
提案手法は、MipNeRF360、OmniObject3D、OpenIlluminationなどの複雑なデータセットで、従来手法を大きく上回る性能を示している。また、カメラパラメータを必要としないCF-GaussianObjectも提案し、実用性を高めている。
Estadísticas
4つの入力画像から、25.6 dB / 0.05のPSNR/LPIPSを達成した。
従来手法と比べ、LPIPSを大幅に改善した(0.0498 vs 0.0951)。
Citas
"限られた3D情報しか含まれていない疎視点の画像からでも、高品質な3D物体を再構築することは重要である。"
"提案手法GaussianObjectは、従来手法を大きく上回る性能を示している。"