核心概念
자기 지도 학습 제약을 활용하여 기존 초해상도 모델의 성능을 향상시킬 수 있다.
要約
이 연구는 단일 이미지 초해상도(SISR) 작업에서 자기 지도 학습 제약을 활용하는 새로운 방법인 SSC-SR을 제안한다. SSC-SR은 두 개의 비대칭 모델(온라인 SR 모델과 타겟 SR 모델)을 사용하여 자기 지도 학습 일관성 손실을 통해 기존 SR 모델의 성능을 향상시킨다.
구체적으로:
- 온라인 SR 모델과 타겟 SR 모델을 사용하여 데이터 증강된 입력에 대한 출력 간 일관성을 유지하도록 학습한다.
- 타겟 모델은 지수 이동 평균(EMA) 전략을 통해 온라인 모델에서 점진적으로 업데이트된다.
- 제안된 SSC-SR 프레임워크는 기존 SR 모델에 쉽게 적용될 수 있는 플러그 앤 플레이 방식이다.
실험 결과, SSC-SR을 통해 다양한 벤치마크 데이터셋에서 기존 SR 모델 대비 평균 0.1dB 이상의 PSNR 향상을 달성했다. 특히 텍스처가 풍부한 Urban100과 Manga109 데이터셋에서 큰 성능 향상을 보였다.
統計
제안된 SSC-SR 프레임워크를 통해 EDSR 모델의 Urban100 데이터셋 PSNR이 0.11dB 향상되었다.
RCAN 모델의 Manga109 데이터셋 PSNR이 0.16dB 향상되었다.
NLSN 모델의 Manga109 데이터셋 PSNR이 0.29dB 향상되었다.
引用
"제안된 SSC-SR 프레임워크는 모듈식이며 기존 SR 모델과 쉽게 통합될 수 있다."
"실험 결과는 대표적인 SR 네트워크를 SSC-SR 프레임워크로 재학습하면 모든 평가 데이터셋에서 일관되게 성능 향상을 달성할 수 있음을 보여준다."