Khái niệm cốt lõi
本論文では、Mambaモデルの周波数分析への拡張により、画像の雨滴除去を効果的かつ効率的に行うFreqMambaを提案する。FreqMambaは、空間ドメインのMamba、周波数バンドのMamba、およびフーリエ変換に基づくグローバルモデリングの3つのブランチから構成され、画像の局所的な特徴と全体的な劣化を統合的に処理する。さらに、入力依存型のMambaの特性を活用し、異なるスケールの雨滴画像から注意マップを生成することで、効率的な学習を実現している。
Tóm tắt
本論文では、画像の雨滴除去のための新しい手法FreqMambaを提案している。FreqMambaは以下の3つのブランチから構成される:
- 空間ドメインのMamba: 画像の局所的な特徴と相関関係をモデル化する。
- 周波数バンドのMamba: 画像を周波数帯域に分解し、周波数次元でのスキャンを行うことで、周波数情報を活用する。
- フーリエ変換に基づくグローバルモデリング: 画像全体の劣化パターンをフーリエ変換を通じてモデル化する。
これらのブランチを統合することで、局所的な特徴と全体的な劣化を効果的に処理できる。さらに、Mambaの入力依存型の特性を活用し、異なるスケールの雨滴画像から注意マップを生成することで、効率的な学習を実現している。
実験の結果、提案手法FreqMambaは、既存の手法と比較して、定量的・定性的な性能において優れていることが示された。また、低照度画像強調や実環境画像の霧除去などの他のタスクにも適用可能であり、その汎用性が確認された。
Thống kê
雨滴のある画像と雨滴のない正解画像の間のL1損失を最小化することで、空間的な整合性を保つ。
振幅スペクトルとフェーズスペクトルの差分のL1損失を最小化することで、周波数情報の整合性を保つ。
Trích dẫn
"FreqMamba is an effective and efficient paradigm that leverages the complementarity between Mamba and frequency analysis for image deraining."
"The cornerstone of our approach lies in a three-branch structure: Spatial Mamba, Frequency Band Mamba, and Fourier Modeling."
"Leveraging Mamba's unique data-dependent properties, we employ degraded images across various scales to derive attention maps and add them in the encoder stage, thereby enhancing the efficiency of training."