Core Concepts
360SFUDA++는 소스 모델에서 지식을 효과적으로 추출하고 신뢰할 수 있는 프로토타입을 통해 타겟 파노라마 도메인으로 지식을 전달한다.
Abstract
이 논문은 소스 데이터에 접근할 수 없는 상황에서 파노라마 분할을 위한 소스 프리 UDA 문제를 다룬다. 이를 위해 360SFUDA++를 제안한다.
첫째, 소스 모델에서 지식을 효과적으로 추출하기 위해 Tangent Projection (TP)과 Fixed FoV Projection (FFP)을 활용한다. TP는 왜곡을 줄이고 FFP는 핀홀 이미지와 유사한 FoV를 가진다.
둘째, 추출한 지식을 타겟 도메인으로 효과적으로 전달하기 위해 Reliable Panoramic Prototype Adaptation Module (RP2AM)을 제안한다. RP2AM은 신뢰할 수 있는 프로토타입을 생성하고 이를 통해 지식을 전달한다.
셋째, Cross-Dual Attention Module (CDAM)을 도입하여 소스와 타겟 도메인 간 공간적, 채널적 특성을 정렬함으로써 스타일 차이를 완화한다.
실험 결과, 360SFUDA++는 기존 SFUDA 방법들에 비해 큰 성능 향상을 보였다.
Stats
파노라마 이미지는 360°×180°의 광범위한 시야각을 가지지만 필연적인 왜곡이 발생한다.
소스 모델은 핀홀 이미지로 학습되었기 때문에 파노라마 이미지와 의미적 불일치가 존재한다.
소스와 타겟 도메인 간 스타일 차이가 크다.
Quotes
"360SFUDA++는 소스 모델에서 지식을 효과적으로 추출하고 신뢰할 수 있는 프로토타입을 통해 타겟 파노라마 도메인으로 지식을 전달한다."
"RP2AM은 신뢰할 수 있는 프로토타입을 생성하고 이를 통해 지식을 전달한다."
"CDAM은 소스와 타겟 도메인 간 공간적, 채널적 특성을 정렬함으로써 스타일 차이를 완화한다."