Khái niệm cốt lõi
확산 모델의 고품질 생성 능력을 활용하여 높은 압축 수준의 JPEG 복원 문제를 해결하는 방법을 제안한다.
Tóm tắt
이 연구에서는 JPEG 복원 작업을 위해 확산 모델의 전방 확률 미분 방정식을 우아하게 수정하는 DriftRec 방법을 제안한다.
- 깨끗한 이미지와 손상된 이미지 쌍 데이터셋만 필요하며, 손상 연산에 대한 지식이 필요하지 않다.
- 다른 조건부 및 무조건부 확산 모델과 달리, 깨끗한 이미지와 손상된 이미지 분포가 서로 더 가깝다는 아이디어를 활용한다.
- 따라서 낮은 수준의 추가 노이즈만 필요하고 추가 최적화 없이도 비교적 적은 샘플링 단계만 필요하다.
- 학습 중에 그러한 예제를 만나지 않았음에도 불구하고, DriftRec은 정렬되지 않은 이중 JPEG 압축과 온라인에서 발견된 JPEG 파일의 블라인드 복원과 같은 현실적이고 어려운 시나리오에 자연스럽게 일반화된다.
Thống kê
JPEG 압축 품질 요인(QF)이 30, 20, 10, 5일 때 CelebA-HQ256 데이터셋의 4500개 테스트 이미지에 대한 결과:
DriftRec 모델은 다른 모든 방법보다 지각적 품질(LPIPS) 및 분포 기반 지표(KID, FID)에서 크게 우수한 성능을 보였다.
PSNR과 SSIM 지표에서는 DriftRec이 개선되지 않았지만, 이는 지각적 품질 향상을 위해 의도적으로 선택한 결과이다.
D2KF2K 데이터셋의 498개 테스트 이미지에 대한 결과:
DriftRec은 지각적 품질(LPIPS)과 블록킹 효과(BEF) 지표에서 크게 우수한 성능을 보였다.
PSNR-B 지표에서도 DriftRec이 압축 이미지보다 개선된 결과를 보였다.
Trích dẫn
"DriftRec은 깨끗한 이미지와 손상된 이미지 분포가 서로 더 가깝다는 아이디어를 활용한다."
"DriftRec은 낮은 수준의 추가 노이즈만 필요하고 추가 최적화 없이도 비교적 적은 샘플링 단계만 필요하다."
"DriftRec은 학습 중에 그러한 예제를 만나지 않았음에도 불구하고, 정렬되지 않은 이중 JPEG 압축과 온라인에서 발견된 JPEG 파일의 블라인드 복원과 같은 현실적이고 어려운 시나리오에 자연스럽게 일반화된다."