Core Concepts
제안된 모델은 합성 영상을 실제 도메인으로 변환하면서도 영상 간 기하학적 정합을 유지할 수 있다.
Abstract
이 연구는 원격 감지 영역에서 합성 영상을 실제 도메인으로 변환하는 문제를 다룬다. 합성 영상은 정확한 레이블과 깊이 정보를 제공하지만, 실제 영상과의 도메인 차이로 인해 일반화 성능이 떨어진다. 이를 해결하기 위해 저자들은 Edge-Aware GAN 기반의 모델을 제안한다.
제안 모델의 핵심 특징은 다음과 같다:
입력 영상과 엣지 맵을 인코더에 함께 입력하여 영상의 구조적 정보를 유지한다.
변환된 좌우 영상 간 정합성을 유지하기 위해 워핑 손실을 추가한다.
단일 경량 네트워크로 영상 변환과 깊이 정합을 동시에 수행한다.
실험 결과, 제안 모델은 기존 모델 대비 정량적/정성적으로 우수한 성능을 보였다. 특히 원격 감지와 자율주행 데이터셋에서 모두 좋은 일반화 성능을 보였다.
Stats
합성 영상을 실제 영상으로 변환할 때 기존 모델은 경계 부분에서 왜곡이 발생하지만, 제안 모델은 이를 효과적으로 해결할 수 있다.
제안 모델은 기존 모델 대비 3px 정확도에서 +3.14%, 1px 정확도에서 +2.30% 향상되었다.
제안 모델의 학습 파라미터 수는 기존 모델의 약 1/5 수준으로 경량화되었다.
Quotes
"제안된 모델은 단일 경량 네트워크로 영상 변환과 깊이 정합을 동시에 수행할 수 있다."
"실험 결과, 제안 모델은 원격 감지와 자율주행 데이터셋에서 모두 우수한 일반화 성능을 보였다."