Core Concepts
高度な画像理解モデルを活用して領域マッチングを行うことで、特徴マッチングの精度を大幅に向上させることができる。
Abstract
本論文では、MESA (Matching Everything by Segmenting Anything)と呼ばれる新しい手法を提案している。MESA は、高度な画像理解モデルであるSAMを活用して、画像の領域を抽出し、それらの領域間のマッチングを行うことで、特徴マッチングの精度を大幅に向上させることができる。
具体的には以下の通りである:
SAMを用いて画像の領域を抽出し、それらの領域の空間構造と階層構造を表現するためのArea Graph (AG)を構築する。
AGに基づいて、領域マッチングを確率的なグラフィカルモデルとして定式化し、効率的なアルゴリズムを用いて解く。
領域マッチングの結果を用いて、特徴点マッチャーの精度を大幅に向上させることができる。
MESA は、室内外の様々なタスクにおいて、従来手法と比べて大幅な精度向上を達成している。特に、密な特徴マッチング手法に対して顕著な改善が見られ、新しい最先端の性能を示している。
Stats
室内姿勢推定タスクでは、DKMの精度を13.61%向上させることができた。
屋外姿勢推定タスクでは、DKMの精度を1.16%向上させることができた。
視覚オドメトリタスクでは、DKMの回転誤差を15.2%、並進誤差を13.3%低減することができた。