본 논문은 단일 모델을 사용하여 다양한 기상 악화 이미지를 복원하는 "올인원" 방식에 중점을 둡니다. 기존의 방법들은 특정 기상 조건이나 작업에 제한적이거나, 열화된 이미지의 특징을 충분히 활용하지 못하는 한계를 보였습니다. 이러한 문제점을 해결하기 위해 본 논문에서는 적응형 열화 인식 자체 프롬프트 모델(ADSM)을 제안합니다.
ADSM은 크게 세 가지 구성 요소로 이루어져 있습니다. 첫째, CLIP 모델을 활용하여 열화 유형, 열화 속성 및 이미지 캡션을 나타내는 잠재 프롬프트를 생성합니다. 둘째, 생성된 잠재 프롬프트를 확산 모델의 시간 임베딩에 통합하여 열화 인식 능력을 향상시킵니다. 셋째, 웨이블릿 기반 노이즈 추정 네트워크(WNE-Net)를 도입하여 효율적이고 정확한 노이즈 추정을 수행합니다.
ADSM은 열화 유형, 열화 속성, 이미지 캡션을 나타내는 세 가지 잠재 프롬프트를 생성하기 위해 CLIP 모델을 기반으로 학습된 잠재 프롬프트 생성기(LPG)를 사용합니다. 열화 유형 및 속성 프롬프트는 개별 및 복합 기상 조건의 잠재적 특징을 식별하는 데 사용되며, 캡션 프롬프트는 복원된 이미지의 콘텐츠 명확성을 검증하는 데 사용됩니다.
LPG에서 생성된 잠재 프롬프트는 이미지 조건부 확산 모델에 통합되어 이미지 복원을 수행합니다. 열화 유형 및 속성 프롬프트는 연결되어 시간 임베딩에 통합되어 열화 인식을 향상시키고, 캡션 프롬프트는 교차 어텐션 메커니즘을 통해 확산 모델에 통합되어 이미지 콘텐츠의 정확한 재구성을 안내합니다.
WNE-Net은 생성된 이미지 샘플링의 계산 효율성을 개선하고 노이즈 추정의 정확성을 높이기 위해 고안되었습니다. WNE-Net은 웨이블릿 변환을 사용하여 주파수 성분을 효과적으로 분리하고 장거리 관계에 대한 심층적인 이해를 포착하는 웨이블릿 자체 주의 표현 블록(WSRB)을 사용합니다. 또한, 교차 단계 샘플링 작업에서 주파수 분할을 활용하고 다운샘플링 및 업샘플링 연산자를 모두 포함하는 웨이블릿 특징 샘플링 블록(WFSB)을 도입하여 주파수에 민감한 샘플링 특징을 캡처하고 특정 열화 속성을 식별하여 이러한 특징을 개선합니다.
AWIR120K 데이터 세트를 사용한 실험을 통해 ADSM은 기존의 최첨단 방법들보다 우수한 성능을 보였습니다. 특히, ADSM은 단일 및 혼합 기상 조건 모두에서 효과적으로 이미지를 복원하는 것을 확인했습니다.
본 논문에서 제안된 ADSM은 모든 유형의 기상 악화 이미지 복원을 위한 효과적인 프레임워크를 제공합니다. 잠재 프롬프트 생성기, 적응형 열화 인식 자체 프롬프트 모델 및 웨이블릿 기반 노이즈 추정 네트워크의 결합은 다양한 기상 조건에서 고품질 이미지를 복원하는 데 기여합니다.
toiselle kielelle
lähdeaineistosta
arxiv.org
Tärkeimmät oivallukset
by Yuanbo Wen, ... klo arxiv.org 11-13-2024
https://arxiv.org/pdf/2411.07445.pdfSyvällisempiä Kysymyksiä