Core Concepts
본 논문은 확산 모델을 활용하여 소스 이미지를 타겟 도메인으로 전송하고, 이를 통해 도메인 간 강건한 표현을 학습하는 제로 샷 도메인 적응 방법을 제안한다.
Abstract
본 논문은 제로 샷 도메인 적응을 위한 새로운 방법인 ZoDi를 제안한다. ZoDi는 두 단계로 구성된다:
- 제로 샷 이미지 전송:
- 사전 학습된 확산 모델을 활용하여 소스 이미지를 타겟 도메인으로 전송한다.
- 레이아웃-이미지 확산 모델과 확률적 역전 기법을 사용하여 이미지의 레이아웃과 내용을 유지한다.
- 모델 적응:
- 원본 이미지와 생성된 타겟 도메인 이미지를 모두 사용하여 분할 모델을 학습한다.
- 두 도메인의 이미지 특징 간 유사도를 최대화하여 도메인 간 강건한 표현을 학습한다.
실험 결과, ZoDi는 다양한 도메인 적응 시나리오에서 기존 방법들을 능가하는 성능을 보였다. 또한 ZoDi는 특정 모델 아키텍처를 요구하지 않아 기존 주간 모델에 적용할 수 있으며, 생성된 이미지를 통해 모델 성능을 사전에 추정할 수 있다는 장점이 있다.
Stats
주간 이미지에서 야간 이미지로의 적응 시, 소스 모델 성능은 20.7 mIoU, ZoDi 모델 성능은 23.0 mIoU이다.
맑은 날씨에서 눈 내리는 날씨로의 적응 시, 소스 모델 성능은 40.8 mIoU, ZoDi 모델 성능은 45.6 mIoU이다.
맑은 날씨에서 비 오는 날씨로의 적응 시, 소스 모델 성능은 39.4 mIoU, ZoDi 모델 성능은 47.0 mIoU이다.
Quotes
"본 논문은 확산 모델을 활용하여 소스 이미지를 타겟 도메인으로 전송하고, 이를 통해 도메인 간 강건한 표현을 학습하는 제로 샷 도메인 적응 방법을 제안한다."
"ZoDi는 특정 모델 아키텍처를 요구하지 않아 기존 주간 모델에 적용할 수 있으며, 생성된 이미지를 통해 모델 성능을 사전에 추정할 수 있다는 장점이 있다."