본 연구는 SUPIR(Scaling-UP Image Restoration)이라는 혁신적인 이미지 복원 방법을 소개한다. SUPIR은 강력한 생성 사전 지식과 모델 확장 기술을 활용하여 탁월한 복원 성능을 달성한다.
생성 사전 지식: SUPIR은 StableDiffusion-XL(SDXL)을 생성 사전 지식으로 활용한다. SDXL은 26억 개의 매개변수를 가진 대규모 모델로, 고품질 이미지 생성 능력이 뛰어나다. 이를 효과적으로 이미지 복원에 활용하기 위해 새로운 어댑터와 커넥터를 설계하였다.
모델 확장: 모델 성능 향상을 위해 2천만 장의 고해상도, 고품질 이미지 데이터셋을 구축하였다. 또한 다중 모달 언어 모델을 활용하여 이미지 내용을 이해하고 텍스트 프롬프트를 통해 이미지 복원을 제어할 수 있는 기능을 추가하였다.
복원 품질 향상: 생성 기반 복원의 낮은 충실도 문제를 해결하기 위해 복원 가이드 샘플링 기법을 도입하였다. 또한 부정적 품질 프롬프트와 샘플을 활용하여 시각적 품질을 더욱 향상시켰다.
실험 결과, SUPIR은 다양한 복원 작업에서 탁월한 성능을 보였으며, 특히 복잡하고 까다로운 실제 환경에서 우수한 복원 효과를 달성하였다. 또한 텍스트 프롬프트를 통한 복원 제어 기능을 제공하여 이미지 복원의 가능성을 크게 확장하였다.
翻譯成其他語言
從原文內容
arxiv.org
深入探究