即時スプラット：制限のない疎視点、姿勢フリーのガウシアンスプラッティングを40秒で実現

核心概念

本研究は、事前の密な視点情報や正確なカメラパラメータを必要とせずに、疎視点かつ姿勢フリーの条件下で効率的に3Dシーンを再構築する手法を提案する。

要約

本研究は、InstantSplatと呼ばれる新しい枠組みを提案している。InstantSplatは、密な3Dステレオモデルから得られる3Dプライオアを活用し、疎視点かつ姿勢フリーの条件下でも1分以内に3Dシーンの再構築と新規視点合成を実現する。
具体的には以下の2つのモジュールから構成される:

粗幾何初期化(CGI)モジュール:

事前学習済みの密なステレオモデルを用いて、訓練用の全ビューにわたる初期的な3Dジオメトリと、カメラパラメータを迅速に推定する。

高速3Dガウシアン最適化(F-3DGO)モジュール:

CGIモジュールで得られた初期化された3Dガウシアンと、カメラパラメータを同時に最適化する。
これにより、姿勢推定精度と描画品質を大幅に向上させることができる。
実験では、大規模な屋外データセットTanks & Templesを用いて評価を行った。その結果、InstantSplatは従来手法と比べて、SSIMを32%向上させつつ、絶対軌跡誤差(ATE)を80%削減することができた。これにより、InstantSplatが疎視点かつ姿勢フリーの条件下でも有効な解決策であることが示された。

統計

提案手法(InstantSplat)の処理時間は37秒(訓練)、SSIMは0.89
Nope-NeRFの処理時間は約100分、SSIMは0.68
NeRFmmの処理時間は約30分、SSIMは0.53
CF-3DGSの処理時間は60秒、SSIMは0.59

引用

なし

抽出されたキーインサイト

InstantSplat

by Zhiwen Fan,W... 場所 arxiv.org 04-01-2024

https://arxiv.org/pdf/2403.20309.pdf

深掘り質問

疎視点かつ姿勢フリーの条件下でも高精度な3Dシーン再構築を実現するためには、どのようなアプローチが考えられるか?

疎視点かつ姿勢フリーの条件下で高精度な3Dシーン再構築を実現するためには、以下のアプローチが考えられます。

End-to-Endアプローチ: 現在の研究では、DUSt3Rのようなエンドツーエンドの密なステレオモデルを活用して、初期のシーンジオメトリとカメラパラメータを取得することが重要です。このようなアプローチは、疎な視点からの高品質な情報を活用し、3Dシーンの再構築を効率的に行うことができます。

3Dガウス分布の最適化: 3Dガウス分布の最適化プロセスを迅速かつ効果的に行うことが重要です。初期化された3Dガウス分布を適切に最適化することで、シーンの詳細な再構築を実現できます。

カメラ姿勢の精度向上: カメラ姿勢の精度を向上させるために、グローバルなカメラパラメータの最適化や追加の制約を導入することが重要です。正確なカメラ姿勢は、シーンの再構築と視点合成の品質向上に貢献します。