核心概念
提案手法CHOSENは、多視点画像から得られる初期深度推定を反復的に最適化することで、高精度な深度推定と法線推定を実現する。特に、適切な解空間の定義、対照学習に基づくハイポテシス選択、そして幾何的特徴の活用が、高品質な推定結果を生み出す鍵となっている。
要約
本研究では、多視点ステレオマッチングの深度推定精度を向上させるためのフレームワークCHOSENを提案している。
まず、深度ハイポテシスを適切な解空間に変換することで、メトリックスケールや内部パラメータの違いに頑健な特徴量を定義する。次に、対照学習に基づいて深度ハイポテシスを評価・選択する手法を提案する。これにより、ノイズの多い初期深度推定から高精度な深度と法線を推定することができる。
具体的な手順は以下の通り:
初期深度推定から、メトリックスケールに依存しない「疑似視差」表現に変換したハイポテシスを生成する。
各ハイポテシスについて、マッチング誤差、局所幾何誤差、前回推定深度との整合性の特徴量を計算する。
対照学習に基づいて、良質なハイポテシスを選別する。
選別されたハイポテシスを用いて深度を更新し、反復的に推定を高精度化する。
提案手法は、単純な特徴抽出と対照学習のみで構成された基本パイプラインでも、既存の深層学習ベースの手法を大きく上回る深度と法線の推定精度を達成している。また、異なるカメラ設定に対しても高い汎化性を示す。
統計
深度誤差1mm未満の割合が70.16%
深度誤差1mm未満の領域での平均絶対誤差が0.3669
深度誤差1mm未満の領域での法線誤差5度未満の割合が45.53%
深度誤差1mm未満の領域での法線誤差10度未満の割合が73.34%