DS-NeRV는 비디오를 정적 코드와 동적 코드로 분해하여 표현한다. 정적 코드는 비디오의 시간에 따라 변화하지 않는 요소를 나타내며, 동적 코드는 시간에 따라 변화하는 요소를 나타낸다.
정적 코드는 비디오 전체에 걸쳐 공유되어 중복 정보를 효과적으로 압축할 수 있다. 동적 코드는 보간법을 통해 전체 비디오의 시간적 일관성을 유지하면서 고주파 세부 정보를 잘 표현할 수 있다.
또한 DS-NeRV는 정적 코드와 동적 코드를 효과적으로 융합하기 위해 cross-channel attention 기반의 융합 모듈을 설계하였다.
실험 결과, DS-NeRV는 기존 방법들에 비해 더 작은 모델 크기로도 우수한 비디오 복원 성능을 보였으며, 비디오 보간, 비디오 복원 등의 다운스트림 작업에서도 우수한 성과를 달성하였다.
Na inny język
z treści źródłowej
arxiv.org
Głębsze pytania