Core Concepts
기존 비디오 코덱을 신경망 기반 전처리기와 후처리기로 감싸는 새로운 압축 방식을 제안하여, 기존 2D 비디오 시스템을 입체 화상회의 시스템으로 손쉽게 업그레이드할 수 있다.
Abstract
이 논문은 입체 화상회의를 위한 실용적인 RGB-D 비디오 압축 방식을 제안한다. 기존 비디오 코덱을 신경망 기반 전처리기와 후처리기로 감싸는 새로운 압축 방식을 제안한다.
전처리기는 색상 정보와 깊이 정보를 함께 처리하여 효율적인 비트 할당과 중복 제거를 수행한다. 또한 깊이 정보의 품질을 개선하기 위해 변위 워핑 기반의 손실 함수를 제안한다.
실험 결과, 제안 방식은 기존 솔루션 대비 29.3% 더 낮은 비트레이트로 동일한 수준의 렌더링 품질을 달성할 수 있다. 또한 실제 캡처 데이터에서도 우수한 일반화 성능을 보인다.
Stats
제안 방식은 기존 솔루션 대비 29.3% 더 낮은 비트레이트로 동일한 수준의 렌더링 품질을 달성할 수 있다.
제안 방식은 합성 데이터로 학습했지만 실제 캡처 데이터에서도 우수한 일반화 성능을 보인다.
Quotes
"기존 비디오 코덱을 신경망 기반 전처리기와 후처리기로 감싸는 새로운 압축 방식을 제안하여, 기존 2D 비디오 시스템을 입체 화상회의 시스템으로 손쉽게 업그레이드할 수 있다."
"전처리기는 색상 정보와 깊이 정보를 함께 처리하여 효율적인 비트 할당과 중복 제거를 수행한다."
"깊이 정보의 품질을 개선하기 위해 변위 워핑 기반의 손실 함수를 제안한다."