Core Concepts
본 연구는 훈련 없이 소스 비디오의 카메라 모션을 새로운 비디오에 전송할 수 있는 MotionMaster 모델을 제안한다. 이를 위해 카메라 모션과 객체 모션을 분리하는 방법을 제안하고, 다양한 카메라 모션을 조합하여 유연한 카메라 제어를 가능하게 한다.
Abstract
본 연구는 훈련 없이 소스 비디오의 카메라 모션을 새로운 비디오에 전송할 수 있는 MotionMaster 모델을 제안한다.
먼저 소스 비디오의 시간 주의 맵에서 카메라 모션과 객체 모션을 분리하는 방법을 제안한다.
단일 소스 비디오에서 카메라 모션 분리: 배경 영역의 모션은 카메라 모션만 포함하고 있다는 가정 하에, 객체 영역의 모션을 푸아송 방정식을 통해 추정한다.
다중 소스 비디오에서 공통 카메라 모션 분리: 유사한 카메라 모션을 가진 여러 비디오의 시간 주의 맵에서 공통 특징을 추출하여 공통 카메라 모션을 얻는다.
다음으로 분리된 카메라 모션을 새로운 비디오에 전송하는 방법을 제안한다.
카메라 모션의 가산성과 위치 기반 합성 능력을 활용하여 다양한 카메라 모션을 조합할 수 있다.
이를 통해 기존 방법들보다 유연하고 다양한 카메라 제어가 가능하다.
실험 결과, 제안 모델은 기존 방법들보다 우수한 생성 품질과 카메라 모션 제어 성능을 보여준다.
Stats
배경 영역의 모션은 카메라 모션만 포함하고 있다.
카메라 모션은 인접 픽셀 간 유사하고 연속적이다.
여러 비디오의 공통 카메라 모션 특징은 시간 주의 맵에서 추출할 수 있다.
Quotes
"카메라 모션 추정 문제를 푸아송 방정식 해결 문제로 변환할 수 있다."
"여러 비디오의 공통 카메라 모션 특징을 시간 주의 맵에서 추출할 수 있다."
"카메라 모션의 가산성과 위치 기반 합성 능력을 활용하여 유연한 카메라 제어가 가능하다."