Core Concepts
본 연구는 주어진 초상화 이미지의 표정과 카메라 뷰를 제어할 수 있는 3D 인식 초상화 애니메이션 방법을 제안한다. 이를 위해 3DMM 표정 매개변수를 소스 이미지에 전달하여 트라이플레인을 직접 생성하는 트라이플레인 생성기를 도입한다. 또한 표정과 외모의 분리를 위해 대조 학습 기반의 사전 학습 프레임워크를 제안한다.
Abstract
본 연구는 3D 인식 초상화 애니메이션 방법인 Export3D를 제안한다. Export3D는 주어진 소스 이미지의 표정과 카메라 뷰를 운전 이미지의 표정 및 카메라 매개변수를 이용하여 제어할 수 있다.
트라이플레인 생성기 설계:
ViT와 합성곱 레이어로 구성된 하이브리드 구조를 사용하여 소스 이미지와 운전 표정 매개변수로부터 트라이플레인을 직접 생성한다.
표정 적응형 레이어 정규화(EAdaLN)를 통해 표정 매개변수를 시각 토큰에 직접 주입한다.
표정-외모 분리를 위한 대조 학습 기반 사전 학습:
3DMM 표정 매개변수에 포함된 외모 정보를 제거하기 위해 대조 학습 기반의 사전 학습 프레임워크(CLeBS)를 제안한다.
CLeBS는 직교 구조를 가지는 표정 표현을 학습하여 교차 정체성 표정 전달 시 외모 변화를 방지한다.
차별화된 볼륨 렌더링:
생성된 트라이플레인을 차별화 가능한 볼륨 렌더링을 통해 다양한 뷰의 이미지로 출력한다.
고해상도 출력을 위해 초해상도 블록을 추가한다.
실험 결과, 제안 방법은 교차 정체성 표정 전달 시 외모 변화 없이 안정적인 성능을 보였다. 또한 3D 인식 및 다양한 뷰 합성에서도 우수한 결과를 보였다.
Stats
소스 이미지와 운전 이미지의 표정 매개변수 β를 이용하여 트라이플레인을 생성한다.
소스 이미지와 운전 이미지의 카메라 매개변수 p를 이용하여 차별화 가능한 볼륨 렌더링을 수행한다.