이 논문은 단일 카메라 입력 비디오로부터 사실적인 3D 헤드 아바타 애니메이션을 생성하는 방법을 제안한다. 제안 방법은 다음과 같은 주요 단계로 구성된다:
입력 비디오로부터 중립 표정의 기본 헤드 모델과 다양한 표정 블렌드쉐이프를 3D 가우시안으로 학습한다. 각 가우시안 블렌드쉐이프는 기존 메시 블렌드쉐이프와 의미적으로 일치한다.
학습된 가우시안 블렌드쉐이프를 선형 혼합하여 임의의 표정을 가진 헤드 아바타 모델을 생성한다. 이때 FLAME 모델의 관절 및 자세 정보를 활용하여 헤드 모델을 변형한다.
생성된 헤드 아바타 모델을 가우시안 스플래팅 기법을 통해 실시간으로 렌더링하여 사실적인 헤드 애니메이션을 합성한다.
제안 방법은 기존 NeRF 기반 및 포인트 클라우드 기반 방법들에 비해 높은 화질과 빠른 속도를 달성한다. 또한 블렌드쉐이프 간 의미적 일관성을 유지하는 최적화 기법을 통해 새로운 표정에서도 안정적인 결과를 생성한다.
다른 언어로
소스 콘텐츠 기반
arxiv.org
더 깊은 질문