Concepts de base
단일 RGB 이미지 기반 깊이 추정 모델의 깊이 경계면 정확도를 향상시키는 방법을 제안한다. 합성 데이터에서 깊이 경계면 검출기를 학습하고, 이를 실제 데이터의 깊이 추정 모델 학습에 활용하여 깊이 경계면의 정확도를 높인다.
Résumé
이 논문은 단일 RGB 이미지 기반 깊이 추정 (Monocular Depth Estimation, MDE) 문제에서 깊이 경계면의 정확도를 향상시키는 방법을 제안한다.
MDE 모델은 일반적으로 전체적인 깊이 정확도 향상에 초점을 맞추지만, 깊이 경계면 근처에서 큰 오차가 발생하는 문제가 있다. 이는 깊이 의존 응용 분야 (예: 증강현실)에 부정적인 영향을 미칠 수 있다.
제안 방법은 다음과 같은 3단계로 구성된다:
- 합성 데이터에서 깊이 경계면 검출기 (DEE) 모델을 학습한다.
- 실제 데이터의 훈련 세트에 DEE 모델을 적용하여 근사적인 깊이 경계면 GT를 생성한다.
- 이 근사 GT를 활용하여 MDE 모델을 학습하되, 깊이 경계면 손실 함수를 추가한다.
실험 결과, 제안 방법은 KITTI와 DDAD 데이터셋에서 깊이 경계면 정확도를 크게 향상시키면서도 전체적인 깊이 정확도를 유지할 수 있었다. 또한 증강현실 응용에서도 더 현실적인 결과를 보여주었다.
Stats
LIDAR 측정치가 깊이 경계면 근처에서 상대적으로 낮은 밀도를 보인다.
이로 인해 깊이 경계면 근처에서 깊이 추정 오차가 크게 발생한다.
Citations
"Monocular Depth Estimation (MDE)는 컴퓨터 비전에서 기본적인 문제이며 많은 응용 분야에 사용된다."
"최근 LIDAR 감독 방식의 MDE 방법들은 실외 장면에서 뛰어난 픽셀 단위 깊이 정확도를 달성했지만, 깊이 불연속면 근처에서 여전히 큰 오차가 발생한다."