이 논문은 사전 학습된 StyleGAN 모델을 활용하여 고품질의 시네마그래프를 자동으로 생성하는 방법을 제안한다.
먼저, 입력 이미지를 StyleGAN의 잠재 공간과 특징 공간에 투영한다. 이때 잠재 코드 뿐만 아니라 중간 특징들도 활용한다. 이를 통해 원본 이미지의 세부 정보를 잘 보존할 수 있다.
다음으로, 입력 이미지를 정적 영역과 동적 영역으로 구분하는 마스크를 예측한다. 이 마스크를 활용하여 동적 영역에만 움직임을 적용할 수 있다.
움직임 생성기를 통해 모션 필드를 예측하고, 이를 StyleGAN의 중간 특징에 적용하는 다중 스케일 깊은 특징 워핑 기법을 제안한다. 이를 통해 고해상도의 시네마그래프를 생성할 수 있다.
제안 방법은 기존 시네마그래프 생성 방법들과 비교하여 정적 일관성과 움직임 품질 측면에서 우수한 성능을 보였다. 사용자 평가에서도 제안 방법이 가장 선호되었다.
Til et andet sprog
fra kildeindhold
arxiv.org
Vigtigste indsigter udtrukket fra
by Jongwoo Choi... kl. arxiv.org 03-22-2024
https://arxiv.org/pdf/2403.14186.pdfDybere Forespørgsler