핵심 개념
상태 공간 모델, 특히 개선된 Mamba 모델은 선형 복잡도로 장거리 의존성 모델링에 큰 잠재력을 보여주지만, 로컬 픽셀 망각과 채널 중복성 문제를 겪는다. 이를 해결하기 위해 MambaIR은 로컬 강화와 채널 주의 메커니즘을 도입하여 성능을 크게 향상시킨다.
초록
이 논문은 이미지 복원을 위한 새로운 기준선 모델인 MambaIR을 제안한다. MambaIR은 세 단계로 구성된다:
- 얕은 특징 추출 단계: 단순한 합성곱 층을 사용하여 얕은 특징을 추출한다.
- 깊은 특징 추출 단계: 여러 개의 Residual State Space Block (RSSB)을 쌓아 깊은 특징을 추출한다. RSSB는 로컬 합성곱을 통해 로컬 픽셀 망각 문제를 해결하고, 채널 주의 메커니즘을 통해 채널 중복성을 줄인다.
- 고품질 이미지 재구성 단계: 얕은 특징과 깊은 특징을 결합하여 고품질 출력 이미지를 생성한다.
이를 통해 MambaIR은 글로벌 수용 영역과 선형 계산 복잡성을 모두 갖추어, CNN 및 Transformer 기반 방법의 대안으로 활용될 수 있다. 다양한 실험을 통해 MambaIR이 기존 강력한 방법들을 능가하는 성능을 보여줌을 확인했다.
통계
제안된 MambaIR 모델은 기존 SwinIR 모델보다 최대 0.45dB 더 높은 PSNR 성능을 달성했다.
MambaIR은 SwinIR과 유사한 계산 비용으로 작동하지만 글로벌 수용 영역을 가진다.
인용구
"상태 공간 모델, 특히 개선된 Mamba 모델은 선형 복잡도로 장거리 의존성 모델링에 큰 잠재력을 보여준다."
"MambaIR은 로컬 강화와 채널 주의 메커니즘을 도입하여 성능을 크게 향상시킨다."