核心概念
DepthFM은 단일 이미지에서 빠르고 정확한 깊이 추정을 달성하는 Flow Matching 기반의 모델입니다. 합성 데이터만으로 학습되었음에도 불구하고 실제 이미지에 대해 우수한 제너럴라이제이션 성능을 보입니다.
摘要
이 논문은 단일 이미지 깊이 추정을 위한 새로운 접근법인 DepthFM을 소개합니다. 기존의 판별적 모델들은 블러링된 결과를, 생성 모델들은 느린 추론 속도를 보였습니다. 이에 반해 DepthFM은 Flow Matching 기반의 접근법을 사용하여 빠르고 정확한 깊이 추정을 달성합니다.
DepthFM의 주요 특징은 다음과 같습니다:
- 확산 모델 기반 사전 학습 모델을 활용하여 합성 데이터만으로 효율적인 학습이 가능
- 표면 법선 손실 함수를 활용하여 깊이 추정 성능 향상
- 단일 추론 단계로도 우수한 성능 발휘
- 앙상블 기반 불확실성 추정 기능 제공
실험 결과, DepthFM은 다양한 실내외 데이터셋에서 SOTA 성능을 달성하였으며, 특히 빠른 추론 속도와 정확성이 두드러집니다. 또한 깊이 보간 및 깊이 기반 이미지 합성 등의 다운스트림 작업에서도 우수한 성능을 보였습니다.
統計資料
단일 이미지에서 추정한 깊이 맵과 실제 깊이 맵의 절대 평균 상대 오차(AbsRel)는 NYUv2에서 0.065, DIODE에서 0.225입니다.
단일 이미지에서 추정한 깊이 맵의 δ1 정확도는 NYUv2에서 95.6%, DIODE에서 80.0%입니다.
引述
"DepthFM은 단일 추론 단계로도 우수한 성능을 발휘하며, 이는 Flow Matching 기반 접근법의 장점을 잘 보여줍니다."
"표면 법선 손실 함수를 활용하여 깊이 추정 성능을 더욱 향상시킬 수 있었습니다."
"DepthFM의 앙상블 기반 불확실성 추정 기능은 다양한 응용 분야에서 유용할 것으로 기대됩니다."