Concetti Chiave
가우시안 스플래팅을 활용하여 안정적인 3D 헤드 구조를 유지하면서 정확한 표정 및 입 동작을 표현하는 대화형 헤드 합성 프레임워크를 제안한다.
Sintesi
이 논문은 3D 대화형 헤드 합성을 위한 새로운 접근법인 TalkingGaussian을 제안한다. 기존 방법들은 점 단위 외형 변화를 통해 표정 동작을 표현하였지만, 이로 인해 얼굴 특징이 왜곡되는 문제가 있었다.
TalkingGaussian은 3D 가우시안 스플래팅을 활용하여 안정적인 헤드 구조를 유지하면서, 개별 가우시안 원시체에 대한 변형을 통해 표정 동작을 표현한다. 이를 통해 정확하고 안정적인 얼굴 특징을 합성할 수 있다.
또한 얼굴 영역과 입 내부 영역을 분리하여 각각 모델링함으로써, 입 동작과 얼굴 동작의 불일치 문제를 해결하였다. 이를 통해 입 동기화 및 입 구조 복원 성능이 향상되었다.
실험 결과, TalkingGaussian은 기존 방법들에 비해 더 높은 화질, 동작 정확도, 효율성을 보였다. 사용자 평가에서도 가장 우수한 성능을 보였다.
Statistiche
제안 방법은 기존 방법들에 비해 PSNR 33.61, LPIPS 0.0259, SSIM 0.910으로 더 높은 화질 지표를 보였다.
제안 방법은 랜드마크 거리 2.586, 상/하단 동작 단위 오차 0.53/0.22로 더 정확한 동작 합성 성능을 보였다.
제안 방법은 0.5시간의 학습 시간과 108 FPS의 추론 속도로 더 효율적이다.
Citazioni
"가우시안 스플래팅을 활용하여 안정적인 헤드 구조를 유지하면서, 개별 가우시안 원시체에 대한 변형을 통해 표정 동작을 표현한다."
"얼굴 영역과 입 내부 영역을 분리하여 각각 모델링함으로써, 입 동작과 얼굴 동작의 불일치 문제를 해결하였다."