본 논문은 저조도 이미지 향상을 위한 새로운 방법인 CLIP-Fourier 기반 웨이블릿 확산 모델(CFWD)을 제안한다.
주요 내용은 다음과 같다:
다중 모달 정보를 활용하여 저조도 이미지의 향상 성능과 시각적 품질을 크게 개선하였다. 구체적으로 CLIP 모델의 시각-언어 정보를 웨이블릿 변환 기반 확산 모델에 결합하여 다중 스케일 시각-언어 가이드 네트워크를 구축하였다. 이를 통해 저하된 이미지와 정상 이미지 간의 특징 정렬을 효과적으로 달성하였다.
웨이블릿 변환과 푸리에 변환을 결합한 고주파 인지 모듈(HFPM)을 제안하였다. 이를 통해 확산 모델의 콘텐츠 다양성을 효과적으로 제한하고 향상된 콘텐츠 복원을 달성하였다.
다양한 실험을 통해 제안 방법이 기존 최신 방법들에 비해 향상된 정량적 및 정성적 성능을 보임을 입증하였다. 특히 PSNR, SSIM, LPIPS, FID 등의 지표에서 우수한 결과를 달성하였다.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Minglong Xue... at arxiv.org 04-18-2024
https://arxiv.org/pdf/2401.03788.pdfDeeper Inquiries