Core Concepts
텍스트 프롬프트를 활용하여 저해상도 이미지로부터 고해상도 이미지를 효과적으로 복원할 수 있다.
Abstract
이 연구는 텍스트 프롬프트를 활용하여 고해상도 이미지 복원 성능을 향상시키는 방법을 제안한다.
먼저, 텍스트-이미지 생성 파이프라인을 개발하여 텍스트 프롬프트를 SR 데이터셋에 통합한다. 텍스트 프롬프트는 이미지 열화 과정을 추상적으로 설명하며, 이를 통해 열화 정보를 효과적으로 제공할 수 있다.
다음으로, PromptSR 모델을 제안한다. PromptSR은 사전 학습된 언어 모델을 활용하여 텍스트 프롬프트 정보를 이용, 고해상도 이미지를 복원한다.
실험 결과, 텍스트 프롬프트를 활용한 PromptSR이 기존 방법들에 비해 우수한 성능을 보였다. 합성 데이터셋과 실제 데이터셋 모두에서 PromptSR은 높은 복원 품질을 달성했다. 이는 텍스트 프롬프트가 열화 정보를 효과적으로 제공하여 고해상도 이미지 복원을 향상시킬 수 있음을 보여준다.
Stats
이미지 열화 과정은 블러, 리사이징, 노이즈, 압축 등 4가지 단계로 구성된다.
각 열화 단계의 매개변수는 균일 분포에서 무작위로 샘플링된다.
Quotes
"텍스트 프롬프트를 활용하여 이미지 SR 성능을 향상시킬 수 있다."
"텍스트 프롬프트는 열화 정보를 효과적으로 제공하여 고해상도 이미지 복원을 향상시킬 수 있다."