แนวคิดหลัก
다중 시점 이미지 데이터를 활용하여 메쉬 변형과 UV 공간 가우시안 텍스처를 동시에 학습함으로써 포토리얼리스틱하고 구동 가능한 인간 아바타 모델을 생성한다.
บทคัดย่อ
본 연구는 다중 시점 이미지 데이터를 활용하여 포토리얼리스틱하고 구동 가능한 인간 아바타 모델을 생성하는 방법을 제안한다.
- 먼저 SMPL 메쉬와 UV 매핑을 기반으로 포즈 의존적 메쉬 변형을 학습하는 메쉬 U-Net을 도입한다.
- 이와 동시에 UV 공간에서 가우시안 텍스처를 학습하는 가우시안 U-Net을 활용한다.
- 학습된 메쉬 변형과 가우시안 텍스처를 결합하여 가우시안 렌더링을 수행함으로써 포토리얼리스틱하고 구동 가능한 인간 아바타 모델을 생성한다.
- 실험 결과, 제안 방법은 기존 방법들에 비해 새로운 시점과 새로운 포즈에서 더 우수한 성능을 보인다.
สถิติ
다중 시점 이미지 데이터를 활용하여 SMPL-X 모델을 피팅하고 스캔 메쉬와 정렬하여 SMPLX-D 모델을 생성한다.
SMPLX-D 모델의 메쉬와 텍스처 정보를 활용하여 포즈 의존적 메쉬 변형과 가우시안 텍스처를 학습한다.
คำพูด
"다중 시점 이미지 데이터를 활용하여 포토리얼리스틱하고 구동 가능한 인간 아바타 모델을 생성한다."
"메쉬 변형과 UV 공간 가우시안 텍스처를 동시에 학습함으로써 우수한 렌더링 성능을 달성한다."