Core Concepts
Mamba의 지역적 상관관계 활용과 주파수 분석의 보완적 특성을 활용하여 효과적이고 효율적인 이미지 비 제거 방법을 제안한다.
Abstract
이 논문은 이미지 비 제거를 위해 Mamba와 주파수 분석의 보완적 특성을 활용하는 FreqMamba 방법을 제안한다.
Mamba는 이미지 내 패치 간 상관관계를 효과적으로 모델링할 수 있지만, 전역적 열화 모델링에는 한계가 있다. 반면 푸리에 변환은 전역적 열화 모델링에 강점이 있다.
FreqMamba는 이러한 두 방법의 장점을 결합하기 위해 다음과 같은 3개의 브랜치로 구성된다:
공간 Mamba 브랜치: 이미지 내 지역적 상관관계를 모델링한다.
주파수 대역 Mamba 브랜치: 웨이블릿 변환을 통해 주파수 대역별로 이미지를 분해하고, Mamba로 모델링한다.
푸리에 모델링 브랜치: 푸리에 변환을 통해 전역적 열화 패턴을 모델링한다.
또한 Mamba의 입력 의존적 특성을 활용하여 다중 스케일의 열화 정보를 주의 맵으로 생성하고, 이를 인코더 단계에 통합하여 효율적인 학습을 가능하게 한다.
실험 결과, FreqMamba는 기존 최신 방법들을 능가하는 성능을 보였다. 또한 저조도 이미지 향상 및 안개 제거 등 다른 이미지 복원 작업에도 적용 가능함을 보였다.
Stats
비 내리는 이미지에서 비 스트리크로 인한 열화는 주로 진폭 스펙트럼에 나타난다.
푸리에 변환을 통해 이미지 내용과 열화를 어느 정도 분리할 수 있다.
Quotes
"Mamba의 선택적 방식은 이미지 패치 간 상관관계를 명시적으로 구축할 수 있어, 깨끗한 영역이 열화된 영역을 안내하는 데 도움이 된다."
"푸리에 변환은 전역적 모델링 능력이 뛰어나지만, 공간 도메인과의 본질적인 격차로 인해 단순히 결합하기는 어렵다."