核心概念
다중 스케일 정보를 효과적으로 활용하고 복잡한 빗줄기를 모델링하기 위해 양방향 다중 스케일 Transformer와 암시적 신경 표현을 결합한 접근법을 제안한다.
摘要
제안된 접근법은 다음과 같은 핵심 구성요소로 이루어져 있다:
- 다중 스케일 Transformer 브랜치:
- 다양한 스케일의 빗줄기 정보를 효과적으로 활용하기 위해 서로 다른 깊이의 UNet 구조를 사용
- 각 스케일에서 고유한 특징을 추출하여 이미지 복원에 활용
- 암시적 신경 표현(INR) 브랜치:
- 다양한 열화된 입력으로부터 공통적인 열화 표현을 학습하여 복잡한 빗줄기에 강인한 특징을 추출
- 두 개의 서로 다른 해상도의 특징 그리드를 사용하여 다중 스케일 정보를 효과적으로 활용
- 양방향 피드백 전파 메커니즘:
- 코arse-to-fine과 fine-to-coarse 정보 전달을 통해 다중 스케일 특징 간 상호작용을 향상
- 입력 콘텐츠의 변화에 강인한 성능 제공
제안된 접근법은 합성 및 실제 벤치마크 데이터셋에서 우수한 성능을 보였으며, 특히 실제 데이터셋에서 기존 최신 방법 대비 1.04dB 향상된 PSNR 결과를 달성했다.
統計資料
빗줄기가 포함된 입력 이미지의 픽셀 값 분포는 높은 강도 값을 가지는 경향이 있다.
제안된 INR 모듈은 이러한 높은 강도 픽셀 값을 낮추어 빗줄기가 제거된 이미지를 생성한다.
引述
"다양한 스케일의 빗줄기 정보를 효과적으로 활용하는 것이 이미지 빗줄기 제거에 중요하다."
"복잡하고 무작위적인 빗줄기를 모델링하기 위해 공통적인 열화 표현을 학습하는 것이 중요하다."
"다중 스케일 특징 간 상호작용을 향상시키는 것이 이미지 복원 성능 향상에 도움이 된다."