핵심 개념
TSNet은 다중 스케일 융합 모듈과 적응형 학습 모듈을 통해 이미지 안개 제거 성능을 향상시킨다. 또한 두 단계로 구성된 네트워크 설계와 학습 목표 변경을 통해 출력 이미지의 아티팩트와 색상 왜곡을 줄인다.
초록
이 논문은 이미지 안개 제거를 위한 TSNet이라는 두 단계 네트워크를 제안한다.
첫 번째 단계 네트워크는 이미지 안개 제거를 수행하고, 두 번째 단계 네트워크는 첫 번째 단계 네트워크의 결과를 최적화하여 아티팩트와 색상 왜곡을 줄인다.
TSNet의 핵심 구성 요소는 다음과 같다:
- 다중 스케일 융합 모듈(MSFM): 다중 스케일 대형 컨볼루션 커널 모듈과 암시적 주파수 특징 향상 모듈로 구성된다. 이를 통해 입력과 학습 목표 간의 주파수 정보 차이를 줄일 수 있다.
- 적응형 학습 모듈(ALM): 변형 가능한 컨볼루션을 사용하여 관심 영역의 학습을 활성화하고 텍스처 세부 정보를 효과적으로 복원할 수 있다.
- 두 단계 네트워크 설계: 첫 번째 단계에서 안개를 제거하고, 두 번째 단계에서 결과를 최적화하여 아티팩트와 색상 왜곡을 줄인다.
- 학습 목표 변경: 기존 방식과 달리 안개 이미지와 반대 안개 맵을 학습 목표로 사용하여 학습 효율을 높였다.
실험 결과, TSNet은 합성 및 실제 데이터셋에서 이전 최신 기술을 능가하는 성능을 보였다.
통계
안개가 있는 이미지 I와 깨끗한 이미지 J의 관계는 I(x) = J(x)t(x) + A(1-t(x))로 표현된다.
이때 t(x)는 매체 전송 맵이고 A는 전역 대기광이다.
인용구
"이전 딥러닝 기반 이미지 안개 제거 방법은 합성 데이터셋과 실제 데이터셋 모두에서 만족스러운 안개 제거 효과를 달성하지 못했으며, 일반화 성능이 좋지 않았다."
"단일 단계 네트워크는 종종 출력 이미지에 많은 영역에서 아티팩트와 색상 왜곡이 발생한다."