Core Concepts
본 연구는 동적 장면에서 일관된 스테레오 매칭을 달성하기 위해 양방향 정렬 메커니즘을 개발하였다. 이를 통해 인접 프레임 간 상관관계를 고려하고 전체 시퀀스의 일관성을 활용할 수 있다.
Abstract
본 논문은 동적 장면에서 일관된 스테레오 매칭을 달성하기 위한 BiDAStereo 프레임워크를 제안한다.
첫째, 양방향 정렬 메커니즘을 개발하여 인접 프레임 간 정보를 효과적으로 활용한다. 삼중 프레임 상관관계 계층(TFCL)을 통해 인접 프레임의 정렬된 특징을 이용해 비용 볼륨을 구축한다.
둘째, 모션 전파 순환 유닛(MRU)을 제안하여 전체 시퀀스의 일관성을 활용한다. MRU에서는 인접 프레임의 모션 특징을 정렬하고 융합하여 현재 프레임의 상태를 업데이트한다. 이를 통해 전체 시퀀스에 걸친 일관성 전파가 가능하다.
실험 결과, 제안 방법은 다양한 벤치마크에서 최신 기술 대비 우수한 성능을 보였다. 특히 동적 장면에서 높은 시간적 일관성을 달성하였다.
Stats
동적 장면에서 제안 방법은 Sintel 데이터셋의 최종 패스에서 DynamicStereo 대비 14.1%, RAFTStereo 대비 36.1% 더 낮은 TEPE 값을 보였다.
Dynamic Replica 테스트 셋에서 제안 방법은 0.062의 TEPE 값을 달성하여 최신 기술 대비 우수한 시간적 일관성을 보였다.
Quotes
"제안 방법은 양방향 정렬 메커니즘을 개발하여 인접 프레임 간 정보를 효과적으로 활용한다."
"모션 전파 순환 유닛(MRU)을 통해 전체 시퀀스의 일관성을 활용할 수 있다."