Core Concepts
사전 학습된 잠재 확산 모델의 강력한 생성 사전 지식을 활용하여 저조도 이미지의 신경 ISP를 향상시킨다.
Abstract
이 논문은 저조도 이미지를 고품질의 sRGB 이미지로 향상시키기 위해 사전 학습된 잠재 확산 모델의 생성 사전 지식을 활용하는 방법을 제안한다.
먼저, 입력 저조도 RAW 이미지에 대해 2D 이산 웨이블릿 변환을 수행하여 저주파 및 고주파 부대역을 추출한다. 저주파 부대역은 UNet의 중간 특징을 조절하는 데 사용되어 구조적 콘텐츠 생성을 담당하고, 고주파 부대역은 디코더 D의 특징을 조절하여 세부 정보 유지를 담당한다.
이를 통해 UNet은 저주파 생성 사전 지식을 활용하여 구조적 콘텐츠를 생성하고, 디코더 D는 고주파 생성 사전 지식을 활용하여 세부 정보를 유지할 수 있다. 제안 방법은 기존 방법들에 비해 정량적 및 정성적 평가에서 우수한 성능을 보인다.
Stats
저조도 환경에서 300배 증폭된 입력 RAW 이미지를 처리할 때 제안 방법은 기존 방법들에 비해 LPIPS 지표에서 0.1127, NIMA 지표에서 0.3752 향상된 성능을 보인다.
Quotes
"사전 학습된 잠재 확산 모델의 강력한 생성 사전 지식을 활용하여 저조도 이미지의 신경 ISP를 향상시킨다."
"2D 이산 웨이블릿 변환을 통해 저주파 및 고주파 부대역을 추출하고, 각각 UNet과 디코더 D의 특징 조절에 활용한다."