Concetti Chiave
본 연구에서는 혼합 주의 메커니즘을 제안하여 이미지 디블러링 및 기타 이미지 복원 작업에서 우수한 성능을 달성하였다. 제안된 혼합 주의 메커니즘은 지역적 및 전역적 특성을 효율적으로 포착하여 기존 방법들을 크게 능가하는 결과를 보여주었다.
Sintesi
본 연구에서는 이미지 디블러링을 주요 목표로 하였으며, 제안된 Mansformer 모델의 우수한 성능을 입증하였다. 주요 내용은 다음과 같다:
-
혼합 주의 메커니즘: 지역적 공간 주의, 지역적 채널 주의, 전역적 공간 주의, 전역적 채널 주의 등 4가지 유형의 주의 메커니즘을 설계하였다. 이를 통해 지역적 및 전역적 특성을 효율적으로 포착할 수 있었다.
-
Gated-Dconv MLP: 기존 Transformer의 2단계 구조를 1단계로 통합하는 Gated-Dconv MLP 모듈을 제안하였다. 이를 통해 모델 크기와 계산량을 줄이면서도 성능을 향상시킬 수 있었다.
-
이미지 디블러링 성능: GoPro, HIDE, Realblur-R, Realblur-J 데이터셋에서 기존 최고 성능 모델들을 크게 능가하는 결과를 보여주었다.
-
기타 응용 분야: 이미지 디블러링 외에도 JPEG 아티팩트 제거, 이미지 디레이닝, 실제 이미지 노이즈 제거 등 다양한 이미지 복원 작업에서도 우수한 성능을 달성하였다.
Statistiche
이미지 디블러링 GoPro 데이터셋에서 Mansformer-P 모델은 PSNR 34.33dB, SSIM 0.970을 달성하였다.
이미지 디블러링 HIDE 데이터셋에서 Mansformer-P 모델은 PSNR 32.00dB, SSIM 0.950을 달성하였다.
이미지 디블러링 REDS-val-300 데이터셋에서 Mansformer 모델은 PSNR 29.20dB, SSIM 0.869를 달성하였다.
이미지 디레이닝 5개 데이터셋의 평균에서 Mansformer 모델은 PSNR 34.11dB, SSIM 0.936을 달성하였다.
실제 이미지 노이즈 제거 SIDD 데이터셋에서 Mansformer 모델은 PSNR 40.32dB, SSIM 0.962를 달성하였다.
Citazioni
"Transformer has made an enormous success in natural language processing and high-level vision over the past few years. However, the complexity of self-attention is quadratic to the image size, which makes it infeasible for high-resolution vision tasks."
"To solve the aforementioned problems, we propose an efficient Transformer of mixed attention (Mansformer) for image deblurring, which simultaneously takes local and global connectivity into account."