Konsep Inti
物理ベースの3D ガウシアンスプラッティングを用いて、隠れたガウシアンの問題を解決し、高品質な逆レンダリングを実現する。
Abstrak
本論文では、物理ベースの3D ガウシアンスプラッティング(Phys3DGS)を提案している。従来の3DGSベースの逆レンダリング手法では、隠れたガウシアンの問題により、レンダリング品質が大きく劣化するという課題があった。
Phys3DGSでは以下の2つの新しいアプローチを提案している:
- ディファード・レンダリングの採用
- 各ピクセルについて、推定された表面点の位置、法線、BRDFパラメータを計算し、それらを用いて1度だけレンダリング方程式を解く。
- これにより、隠れたガウシアンの影響を排除できる。
- メッシュベースの表現の利用
- 初期の3DGSモデルからメッシュを抽出し、メッシュ-3DGSハイブリッド表現を構築する。
- メッシュの利用により、形状の学習が改善される一方で、新たな問題(頂点位置の不安定さ、ガウシアンスケールの異常な増大)も生じる。
- そのため、マスク付き不透明度正則化、ガウシアンスケール正則化、四元数ベースの法線強化などの新しい正則化手法を提案している。
提案手法の実験結果では、従来の3DGSベースの手法と比較して、新しい照明条件下でのレンダリング品質が大幅に向上している。また、ボクセルグリッドベースの最先端手法と比べても、レンダリング品質が良く、かつリアルタイムレンダリングが可能である。
Statistik
隠れたガウシアンの色は、表面点の色と大きく異なる可能性がある。特に高い鏡面反射の場合に顕著である。
3DGSモデルの学習初期段階では、不透明度が十分に学習されていないため、隠れたガウシアンの影響が大きい。
抽出したメッシュ上のガウシアンの最大スケールが、三角形の拡大circumradiusを超えると、品質が劣化する。
Kutipan
"隠れたガウシアンの色は、表面点の色と大きく異なる可能性がある。特に高い鏡面反射の場合に顕著である。"
"3DGSモデルの学習初期段階では、不透明度が十分に学習されていないため、隠れたガウシアンの影響が大きい。"
"抽出したメッシュ上のガウシアンの最大スケールが、三角形の拡大circumradiusを超えると、品質が劣化する。"