Core Concepts
다양한 이미지 복원 작업의 기능적 요구사항을 충족하는 일반적인 백본 네트워크 설계의 필요성
Abstract
이 연구는 이미지 복원 작업을 위한 대표적인 백본 네트워크들을 비교 분석하고, 일반적인 백본 네트워크 설계의 원칙을 제시합니다.
먼저 5가지 대표적인 이미지 복원 작업(초해상도, 잡음제거, 흐림 제거, 비 제거, 안개 제거)을 선정하고, 5개의 대표적인 백본 네트워크(MPRNet, Uformer, SwinIR, Restormer, NAFNet)를 선정하여 벤치마크 실험을 수행했습니다. 실험 결과, 각 네트워크는 작업에 따라 다양한 성능을 보였으며, 이는 작업별 특성과 네트워크의 구조 및 핵심 연산자의 차이에 기인한 것으로 분석되었습니다.
이를 바탕으로 저자들은 일반적인 백본 네트워크 설계를 위해서는 다양한 작업의 기능적 요구사항을 충족해야 한다고 제안합니다. 특히 Restormer가 전반적으로 우수한 성능을 보인 것은 U-shape 구조, 전치 자기 주의 메커니즘, 깊이 방향 컨볼루션 등 다양한 기능을 갖추고 있기 때문으로 분석됩니다.
이에 저자들은 Restormer를 기반으로 공간 정보 상호작용 능력을 향상시킨 X-Restormer를 제안했습니다. 실험 결과, X-Restormer는 모든 작업에서 최신 기술 수준을 달성하며 가장 우수한 일반화 성능을 보였습니다. 이는 일반적인 백본 네트워크 설계를 위한 중요한 시사점을 제공합니다.
Stats
이미지 초해상도 작업에서 X-Restormer는 Manga109 데이터셋에서 Restormer 대비 0.42dB 향상된 성능을 보였습니다.
이미지 잡음제거 작업에서 X-Restormer는 Urban100 데이터셋에서 Restormer 대비 0.22dB 향상된 성능을 보였습니다.
이미지 흐림 제거 작업에서 X-Restormer는 HIDE 데이터셋에서 Restormer 대비 0.54dB 향상된 성능을 보였습니다.
이미지 비 제거 작업에서 X-Restormer는 Rain100H 데이터셋에서 Restormer 대비 0.61dB 향상된 성능을 보였습니다.
이미지 안개 제거 작업에서 X-Restormer는 SOTS Indoor 데이터셋에서 Restormer 대비 0.93dB 향상된 성능을 보였습니다.