核心概念
본 연구는 단일 이미지 또는 소수의 이미지에서 신속하고 정확하게 3D 헤드 아바타를 생성하는 방법인 InstantAvatar를 제안한다. 이를 위해 그리드 기반 신경망 구조와 표면 렌더링 기술을 결합하여 기존 방법들에 비해 100배 빠른 속도로 고품질 재구성을 달성한다.
摘要
본 연구는 단일 이미지 또는 소수의 이미지에서 신속하고 정확하게 3D 헤드 아바타를 생성하는 InstantAvatar 방법을 제안한다.
먼저, 수천 개의 3D 헤드 모델을 이용해 통계적 사전 모델을 학습한다. 이 사전 모델은 다중 해상도 그리드 기반 신경망으로 구현되며, 부드러운 기하학적 특성을 학습한다.
재구성 과정에서는 이 사전 모델을 활용하여 초기 솔루션을 빠르게 찾고, 이를 바탕으로 표면 렌더링 기반 최적화를 수행한다. 또한 모노큘러 법선 맵 추정기의 예측을 활용하여 최적화 과정을 안정화한다.
이를 통해 기존 신경장 기반 방법들에 비해 100배 빠른 속도로 고품질의 3D 헤드 재구성을 달성한다. 정량적 평가에서도 기존 최신 방법들과 유사한 수준의 정확도를 보인다.
統計資料
단일 이미지 기반 재구성 시 InstantAvatar의 평균 오차는 1.50mm로 기존 최신 방법들과 유사한 수준이다.
3개의 입력 이미지를 사용할 경우 평균 오차가 1.39mm로 개선된다.
6개의 입력 이미지를 사용할 경우 평균 오차가 1.22mm로 더욱 향상된다.
引述
"본 연구는 그리드 기반 신경망 구조와 표면 렌더링 기술을 결합하여 기존 방법들에 비해 100배 빠른 속도로 고품질 3D 헤드 재구성을 달성한다."
"통계적 사전 모델을 활용하여 초기 솔루션을 빠르게 찾고, 모노큘러 법선 맵 예측을 통해 최적화 과정을 안정화한다."