核心概念
疎な入力画像から高品質な新規ビューを合成するために、構造化された3Dガウシアン表現を提案し、様々な正則化手法を導入することで、コヒーレントな3Dガウシアン表現を学習する。
要約
本論文では、疎な入力画像から高品質な新規ビューを合成するための手法を提案している。
まず、3DGSと呼ばれる手法を拡張し、ガウシアンの位置を2D画像空間で制御することで、ガウシアンの動きに一貫性を持たせる。具体的には、以下の手法を提案している:
単一ビュー制約: 各入力画像に対して、ピクセルごとにガウシアンを割り当て、暗黙的なデコーダを用いて、ガウシアンの深度値の変化を滑らかに制御する。さらに、深度に基づいたセグメンテーションマスクを用いて、物体境界の不連続性を保持する。
多視点制約: 全ての入力ビューから再構成された深度マップの全体的な滑らかさを、全変動正則化によって強制する。これにより、3D表面の整合性が保たれる。
さらに、初期化段階では、モノラル深度推定と光流に基づいて、各ビューのガウシアンを整列させることで、最適化の初期状態を改善する。
最終的に、提案手法は疎な入力設定においても高品質な新規ビューを生成でき、定量的・定性的な評価で既存手法を上回る性能を示している。また、提案手法は最適化の過程で、入力画像に写っていない領域を特定できるため、それらの領域を別の手法で補完することも可能である。
統計
各入力画像のピクセルごとに1つのガウシアンを割り当てている。
単一ビュー制約では、暗黙的なデコーダを用いて、ガウシアンの深度値の変化を滑らかに制御している。
多視点制約では、全ての入力ビューから再構成された深度マップの全体的な滑らかさを、全変動正則化によって強制している。
初期化段階では、モノラル深度推定と光流に基づいて、各ビューのガウシアンを整列させている。