Centrala begrepp
부정확한 정렬로 인한 아티팩트를 적응적으로 보정하고, 전방향 및 후방향 전파 간 협력적 피드백을 통해 장기 시공간 정보를 효과적으로 모델링하여 고품질 비디오 복원을 달성한다.
Sammanfattning
이 논문은 비디오 초해상도(VSR) 문제를 해결하기 위한 새로운 기법을 제안한다. 기존 VSR 방법들은 주로 공간 및 시간 정보를 활용하는데, 이를 위해 정렬 모듈과 순환 전파 모듈을 사용한다. 그러나 정렬 정확도가 낮으면 정렬된 특징에 심각한 아티팩트가 발생하고, 이는 전파 과정에서 누적되어 복원 성능을 저하시킨다. 또한 기존 순환 전파 모듈은 과거 또는 미래 정보만을 활용하여 복잡한 움직임이나 가림 현상에 대처하기 어렵다.
이를 해결하기 위해 본 논문은 다음과 같은 기법을 제안한다:
- 차별적 정렬 보정(DAC) 모듈: 얕은 특징을 활용하여 정렬 과정에서 발생한 아티팩트를 적응적으로 보정한다.
- 협력적 피드백 전파(CFP) 모듈: 전방향 및 후방향 전파 간 피드백 및 게이팅 메커니즘을 통해 장기 시공간 정보를 효과적으로 모델링한다.
제안 기법을 기존 VSR 모델(BasicVSR, BasicVSR++, PSRT)에 적용한 결과, 성능 향상과 더불어 모델 복잡도 증가 없이 효율성을 유지할 수 있음을 확인하였다.
Statistik
제안 모델 CFD-BasicVSR은 REDS4 데이터셋에서 기존 BasicVSR 대비 0.37dB PSNR 향상을 달성했다.
제안 모델 CFD-BasicVSR++는 REDS4 데이터셋에서 32.51dB PSNR을 기록하며 최고 성능을 보였다.
제안 모델 CFD-PSRT는 Vimeo-T 데이터셋에서 38.33dB PSNR을 달성하며 우수한 성능을 보였다.
Citat
"부정확한 정렬로 인한 아티팩트는 전파 과정에서 누적되어 복원 성능을 저하시킨다."
"기존 순환 전파 모듈은 과거 또는 미래 정보만을 활용하여 복잡한 움직임이나 가림 현상에 대처하기 어렵다."