Основные понятия
본 연구는 3DMM 기반의 표면 변형 네트워크를 활용하여 원하는 토폴로지의 스타일화된 3D 얼굴 모델을 생성하는 방법을 제안한다. 이를 통해 기존 방식의 한계를 극복하고 실용적인 애니메이션 기능을 제공한다.
Аннотация
본 연구는 3D 얼굴 스타일링을 위한 새로운 방법을 제안한다. 기존 방식의 한계를 극복하기 위해 다음과 같은 3가지 핵심 요소를 고려하였다:
- 원하는 토폴로지의 아바타 생성
- 3DMM을 넘어선 스타일링 기능 확장
- 블렌드 셰이프를 활용한 애니메이션 가능성
이를 위해 저자들은 다음과 같은 접근법을 제안한다:
- FLAME 기반의 표면 변형 네트워크 DS를 학습하여 다양한 얼굴 형태와 표정을 생성할 수 있게 한다.
- 예시 얼굴 메시를 활용하여 DS를 미세 조정하여 타겟 스타일로 변환하는 LeGO 방법을 제안한다. 이 과정에서 계층적 렌더링 기법과 CLIP 기반의 손실 함수를 활용한다.
- 다양한 토폴로지의 입력 메시를 처리할 수 있는 MAGE 인코더를 제안한다.
실험 결과, 제안 방법은 원하는 토폴로지의 스타일화된 얼굴을 생성할 수 있으며, 3DMM 기반의 애니메이션 기능을 제공한다. 정성적, 정량적 평가에서도 우수한 성능을 보였다.
Статистика
제안 방법은 FLAME 모델의 형상 매개변수 β와 표정 매개변수 ψ를 활용하여 다양한 얼굴 형태와 표정을 생성할 수 있다.
계층적 렌더링 기법을 통해 국부적 및 전역적 얼굴 특징을 효과적으로 캡처할 수 있다.
CLIP 기반의 손실 함수를 통해 입력 얼굴 정체성과 타겟 스타일을 효과적으로 보존할 수 있다.
Цитаты
"최근 3D 얼굴 스타일링 분야의 발전으로 적은 수의 예시만으로도 다양한 스타일의 얼굴을 생성할 수 있게 되었다. 그러나 기존 방식의 스타일링 수준은 실용적인 응용에 아직 부족하다."
"본 연구에서는 원하는 토폴로지의 고도로 스타일화된 3D 얼굴 모델을 생성할 수 있는 방법을 제안한다."