이 논문은 사전 학습된 StyleGAN 모델을 활용하여 고품질의 랜드스케이프 시네마그래프를 자동으로 생성하는 방법을 제안한다.
먼저, 입력 이미지를 StyleGAN의 잠재 공간과 특징 공간에 투영한다. 이때 잠재 코드뿐만 아니라 중간 특징도 활용한다. 이를 통해 원본 이미지의 세부 정보를 잘 보존할 수 있다.
다음으로, 정적 영역과 동적 영역을 구분하는 마스크를 예측한다. 이 마스크를 활용하여 동적 영역에만 움직임을 적용할 수 있다.
움직임 생성기를 통해 모션 필드를 예측하고, 이를 다중 스케일 깊이 특징 워핑(MSDFW) 기법을 사용하여 StyleGAN의 중간 특징에 적용한다. 이를 통해 고해상도의 자연스러운 움직임을 가진 시네마그래프를 생성할 수 있다.
제안 방법은 기존 시네마그래프 생성 방법들과 비교하여 정적 일관성과 움직임 품질 측면에서 우수한 성능을 보였다. 사용자 연구에서도 제안 방법의 우수성이 입증되었다.
To Another Language
from source content
arxiv.org
Önemli Bilgiler Şuradan Elde Edildi
by Jongwoo Choi... : arxiv.org 03-22-2024
https://arxiv.org/pdf/2403.14186.pdfDaha Derin Sorular