Core Concepts
단일 이미지에서 메트릭 깊이와 표면 법선을 동시에 추정할 수 있는 강력하고 일반화된 기하학적 기반 모델을 제안한다.
Abstract
이 논문은 단일 이미지에서 메트릭 깊이와 표면 법선을 동시에 추정할 수 있는 강력하고 일반화된 기하학적 기반 모델인 Metric3D v2를 소개한다.
메트릭 깊이 추정과 표면 법선 추정은 각각 고유한 과제를 가지고 있다. 메트릭 깊이 추정의 경우 다양한 카메라 모델과 대규모 데이터 학습을 통해 메트릭 모호성을 해결하는 것이 핵심이다. 이를 위해 저자들은 정규화된 카메라 공간 변환 모듈을 제안한다. 표면 법선 추정의 경우 대규모 레이블 데이터 부족이 문제이다. 저자들은 메트릭 깊이 추정기에서 얻은 지식을 활용하여 표면 법선을 학습하는 joint depth-normal 최적화 모듈을 제안한다.
제안 방법은 16개의 깊이 및 법선 벤치마크에서 최신 성능을 달성하며, 다양한 응용 분야에서 활용될 수 있다. 예를 들어 단일 이미지 메트릭 3D 복원, 모노 SLAM의 스케일 드리프트 해결 등이 가능하다.
Stats
다양한 카메라 모델(10,000개 이상)을 포함하는 16백만 장 이상의 대규모 데이터셋을 활용하여 학습
깊이 레이블이 14백만 장 이상, 법선 레이블이 1.4백만 장 이상 포함
Quotes
"메트릭 깊이 추정과 표면 법선 추정은 서로 다른 과제를 가지고 있다. 메트릭 깊이 추정의 핵심은 다양한 카메라 모델과 대규모 데이터 학습을 통해 메트릭 모호성을 해결하는 것이다."
"표면 법선 추정의 가장 큰 과제는 다양한(실외) 레이블 데이터의 부족이다. 강건한 메트릭 깊이 모델은 풍부한 기하학적 지식을 포함하고 있어, 이를 활용하여 표면 법선을 효과적으로 학습할 수 있다."