본 연구는 "Make-Your-Anchor"라는 새로운 2D 아바타 생성 시스템을 제안한다. 이 시스템은 단 1분 분량의 개인 영상만으로도 정확한 몸짓과 표정을 가진 디지털 앵커 영상을 자동으로 생성할 수 있다.
구체적으로, 연구진은 구조 유도 확산 모델(SGDM)을 제안하여 움직임 조건을 바탕으로 외모를 생성하는 방식을 학습한다. 또한 배치 중첩 시간 감쇠 기법을 통해 임의 길이의 일관된 동영상을 생성할 수 있다. 마지막으로 얼굴 세부 정보 향상을 위한 새로운 인페인팅 기반 모듈을 도입했다.
실험 결과, 제안 시스템은 기존 GAN 기반 및 확산 기반 방식들에 비해 우수한 시각적 품질, 시간적 일관성, 정체성 보존 성능을 보였다. 이를 통해 실용적이고 적용 가능한 디지털 앵커 생성이 가능해졌다.
Til et annet språk
fra kildeinnhold
arxiv.org
Viktige innsikter hentet fra
by Ziyao Huang,... klokken arxiv.org 03-26-2024
https://arxiv.org/pdf/2403.16510.pdfDypere Spørsmål