맹목적 이미지 복원을 위한 새로운 변분 네트워크 방법 소개
VmambaIR은 상태 공간 모델을 활용하여 이미지 복원 작업에서 뛰어난 성능을 달성하며, 기존 방법들보다 적은 계산 자원을 요구한다.
CU-Mamba 모델은 U-Net 구조에 공간 및 채널 상태 공간 모델을 통합하여 이미지 복원 성능을 향상시킨다.
손상된 이미지를 복원할 때 레퍼런스 이미지를 활용하면 보다 사실적이고 정확한 이미지를 생성할 수 있다.
Resfusion이라는 새로운 이미지 복원 프레임워크는 잔여 노이즈를 활용하여 기존 확산 모델보다 훨씬 빠르고 효율적으로 고품질 이미지를 생성합니다.
본 논문에서는 미분 방정식 기반 이미지 복원 방법의 궤적 최적화를 통해 복원 품질과 효율성을 향상시키는 새로운 방법을 제안합니다.
대규모 복원 모델(LRM)은 사실적인 이미지 복원에서 상당한 진전을 이루었지만, 심각한 손상을 입은 이미지를 처리할 때 종종 잘못된 콘텐츠나 텍스처를 생성하는 문제가 발생합니다. 본 논문에서는 검색 증강 프레임워크인 ReFIR을 제안하여 검색된 이미지를 외부 지식으로 활용하여 기존 LRM의 지식 경계를 확장하고 원래 장면에 충실한 세부 정보를 생성합니다.
본 논문에서는 이미지 복원 작업에 사용되는 딥러닝 모델의 효율성을 높이기 위해 레이어별로 N:M sparsity 수준을 자동으로 결정하는 새로운 프루닝 방법인 SLS(Searching for Layer-wise N:M structured Sparsity)를 제안합니다. SLS는 기존의 uniform N:M sparsity 방법들과 달리 각 레이어의 계산 복잡도와 성능에 대한 기여도를 모두 고려하여 최적의 sparsity 수준을 찾아냄으로써, 이미지 복원 성능 저하를 최소화하면서 모델 크기를 효과적으로 줄입니다.
사전 훈련된 다중 작업 이미지 복원 모델은 복합적인 이미지 손상을 단계별로 제거하여 제로샷 방식으로 범용 이미지 복원을 달성할 수 있습니다.
본 논문에서는 Restormer-Plus라는 새로운 단일 이미지 디레이닝 방법을 제안하며, 이는 Restormer 아키텍처를 기반으로 하며 GT-RAIN 챌린지에서 뛰어난 성능을 달성했습니다. Restormer-Plus는 단일 이미지 디레이닝 모듈, 중간 필터링 모듈, 가중 평균 모듈 및 후처리 모듈의 네 가지 주요 모듈로 구성됩니다. 저자는 각 모듈의 기능과 상호 작용을 자세히 설명하고 Restormer-Plus가 Restormer의 세 가지 주요 단점, 즉 빗물 이미지의 디테일 및 텍스처 복원 능력 저하, 훈련 중 과적합 취약성, 빗물 이미지의 밝기 복원 미흡을 해결하는 방법을 보여줍니다.