이 논문은 단일 카메라 입력 비디오로부터 사실적인 3D 헤드 아바타 애니메이션을 생성하는 방법을 제안한다. 제안 방법은 다음과 같은 주요 단계로 구성된다:
입력 비디오로부터 중립 표정의 기본 헤드 모델과 다양한 표정 블렌드쉐이프를 3D 가우시안으로 학습한다. 각 가우시안 블렌드쉐이프는 기존 메시 블렌드쉐이프와 의미적으로 일치한다.
학습된 가우시안 블렌드쉐이프를 선형 혼합하여 임의의 표정을 가진 헤드 아바타 모델을 생성한다. 이때 FLAME 모델의 관절 및 자세 정보를 활용하여 헤드 모델을 변형한다.
생성된 헤드 아바타 모델을 가우시안 스플래팅 기법을 통해 실시간으로 렌더링하여 사실적인 헤드 애니메이션을 합성한다.
제안 방법은 기존 NeRF 기반 및 포인트 클라우드 기반 방법들에 비해 높은 화질과 빠른 속도를 달성한다. 또한 블렌드쉐이프 간 의미적 일관성을 유지하는 최적화 기법을 통해 새로운 표정에서도 안정적인 결과를 생성한다.
To Another Language
from source content
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Shengjie Ma,... lúc arxiv.org 05-01-2024
https://arxiv.org/pdf/2404.19398.pdfYêu cầu sâu hơn