이 논문은 사전 학습된 StyleGAN 모델을 활용하여 고품질의 랜드스케이프 시네마그래프를 자동으로 생성하는 방법을 제안한다.
먼저 입력 이미지를 StyleGAN의 잠재 공간과 특징 공간에 투영한다. 이때 잠재 코드 뿐만 아니라 중간 특징을 함께 활용하여 원본 이미지의 세부 정보를 잘 보존할 수 있다.
다음으로 입력 이미지를 정적 영역과 동적 영역으로 구분하는 마스크를 예측한다. 이를 통해 정적 영역의 구조를 잘 보존할 수 있다.
그 다음으로 모션 생성기를 사용하여 입력 이미지에 대한 모션 필드를 예측한다. 예측된 모션 필드는 마스크와 결합되어 정적 영역의 움직임을 제한한다.
마지막으로 사전 학습된 StyleGAN 모델에 다중 스케일 깊은 특징 워핑(MSDFW) 모듈을 추가하여 최종 시네마그래프를 생성한다. MSDFW를 통해 고해상도의 시네마그래프를 생성할 수 있다.
제안 방법은 기존 시네마그래프 생성 방법들과 비교하여 정적 일관성과 모션 품질 측면에서 우수한 성능을 보였다. 사용자 연구에서도 제안 방법의 우수성이 확인되었다.
To Another Language
from source content
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Jongwoo Choi... lúc arxiv.org 03-22-2024
https://arxiv.org/pdf/2403.14186.pdfYêu cầu sâu hơn