VmambaIR은 이미지 복원을 위한 포괄적인 모델로, 상태 공간 모델의 장점을 활용한다. Unet 구조를 기반으로 하며, 제안된 OSS 블록을 통해 이미지의 다중 스케일 특징을 효과적으로 다룰 수 있다.
OSS 블록은 OSS 모듈과 EFFN으로 구성되어 있다. OSS 모듈은 Mamba의 장거리 모델링 능력을 활용하여 이미지 특징을 종합적으로 모델링한다. EFFN은 이미지 정보 흐름을 매핑하고 조절하여 네트워크의 정확도와 효율성을 높인다.
제안된 Omni Selective Scan (OSS) 메커니즘은 기존 Mamba의 단방향 모델링 한계를 극복하여 이미지 특징을 6개 방향에서 포괄적으로 모델링할 수 있다. 이를 통해 변환기와 CNN 구조에 비해 선형 복잡도를 유지하면서도 강력한 모델링 능력을 발휘한다.
다양한 이미지 복원 작업에서 실험을 진행한 결과, VmambaIR은 기존 최신 기법들을 능가하는 성능을 보여주었다. 특히 실제 세계 초해상도 작업에서 VmambaIR은 기존 방법 대비 26%의 계산 비용으로 더 높은 복원 정확도를 달성했다.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Yuan Shi,Bin... at arxiv.org 03-19-2024
https://arxiv.org/pdf/2403.11423.pdfDeeper Inquiries