核心概念
深度補完モデルを用いることで、既存のシーンジオメトリと整合性のある3Dシーンを生成することができる。
要約
本研究では、3Dシーンの生成に関する2つの主要な貢献を行っている。
既存のシーンジオメトリを考慮しない一般的な深度推定モデルを用いると、生成されたシーンに不整合が生じることを指摘している。そのため、教師蒸留とセルフトレーニングを用いて深度補完モデルを学習し、シーンの幾何学的整合性を向上させている。
シーンジオメトリの品質を評価するための新しいベンチマークを提案している。これは、既知の地面真値に基づいて部分的に生成されたシーンの深度を評価するものである。
実験の結果、既存の3Dシーン生成手法では幾何学的な不整合が生じることが明らかになった。一方、提案手法の深度補完モデルは、既存のシーンジオメトリと整合性のある深度予測を行うことができ、優れたパフォーマンスを示した。さらに、提案手法を用いて360度の3Dシーンを生成する例を示している。
統計
既存のシーンジオメトリを考慮しない深度推定モデルを用いると、生成されたシーンに不整合が生じる。
提案手法の深度補完モデルは、既存のシーンジオメトリと整合性のある深度予測を行うことができる。
提案手法は、ScanNetデータセットでは平均絶対誤差0.0816、Hypersimデータセットでは0.7295を達成した。
引用
"既存のシーンジオメトリを考慮しない一般的な深度推定モデルを用いると、生成されたシーンに不整合が生じる。"
"提案手法の深度補完モデルは、既存のシーンジオメトリと整合性のある深度予測を行うことができる。"