Core Concepts
VQ-NeRV는 신경망의 얕은 특징과 프레임 간 잔차 정보를 효과적으로 활용하여 비디오 압축 및 복원 성능을 향상시킨다.
Abstract
VQ-NeRV는 기존의 암시적 신경 표현(INR) 및 하이브리드 신경 표현 방법의 한계를 극복하기 위해 개발되었다.
기존 방법들은 신경망의 얕은 특징과 프레임 간 잔차 정보를 충분히 활용하지 못했다는 문제가 있었다.
VQ-NeRV는 U자형 아키텍처를 도입하고, VQ-NeRV 블록을 통해 얕은 특징과 프레임 간 잔차 정보를 효과적으로 활용한다.
VQ-NeRV 블록은 코드북 메커니즘을 사용하여 이러한 정보를 이离산화하고, 디코더에서 이를 활용하여 복원 성능을 향상시킨다.
또한 얕은 코드북 최적화 기법을 제안하여 코드북 활용도를 높였다.
실험 결과, VQ-NeRV는 비디오 압축, 보간, 복원 등의 작업에서 기존 방법들을 능가하는 성능을 보였다.
Stats
기존 방법 대비 1-2 dB 높은 PSNR 성능 향상
더 효율적인 비트 당 픽셀(bpp) 성능
향상된 비디오 복원 성능
Quotes
"VQ-NeRV는 신경망의 얕은 특징과 프레임 간 잔차 정보를 효과적으로 활용하여 비디오 압축 및 복원 성능을 향상시킨다."
"VQ-NeRV 블록은 코드북 메커니즘을 사용하여 이러한 정보를 이离산화하고, 디코더에서 이를 활용하여 복원 성능을 향상시킨다."