본 연구는 "Make-Your-Anchor"라는 새로운 2D 아바타 생성 시스템을 제안한다. 이 시스템은 단 1분 분량의 개인 영상만으로도 정확한 몸짓과 표정을 가진 디지털 앵커 영상을 자동으로 생성할 수 있다.
구체적으로, 연구진은 구조 유도 확산 모델(SGDM)을 제안하여 움직임 조건을 바탕으로 외모를 생성하는 방식을 학습한다. 또한 배치 중첩 시간 감쇠 기법을 통해 임의 길이의 일관된 동영상을 생성할 수 있다. 마지막으로 얼굴 세부 정보 향상을 위한 새로운 인페인팅 기반 모듈을 도입했다.
실험 결과, 제안 시스템은 기존 GAN 기반 및 확산 기반 방식들에 비해 우수한 시각적 품질, 시간적 일관성, 정체성 보존 성능을 보였다. 이를 통해 실용적이고 적용 가능한 디지털 앵커 생성이 가능해졌다.
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Ziyao Huang,... a las arxiv.org 03-26-2024
https://arxiv.org/pdf/2403.16510.pdfConsultas más profundas