3D 인식 표현 제어 가능한 초상화 애니메이션을 위한 조건부 트라이플레인 생성 학습

Core Concepts

본 연구는 주어진 초상화 이미지의 표정과 카메라 뷰를 제어할 수 있는 3D 인식 초상화 애니메이션 방법을 제안한다. 이를 위해 3DMM 표정 매개변수를 소스 이미지에 전달하여 트라이플레인을 직접 생성하는 트라이플레인 생성기를 도입한다. 또한 표정과 외모의 분리를 위해 대조 학습 기반의 사전 학습 프레임워크를 제안한다.

Abstract

본 연구는 3D 인식 초상화 애니메이션 방법인 Export3D를 제안한다. Export3D는 주어진 소스 이미지의 표정과 카메라 뷰를 운전 이미지의 표정 및 카메라 매개변수를 이용하여 제어할 수 있다. 트라이플레인 생성기 설계: ViT와 합성곱 레이어로 구성된 하이브리드 구조를 사용하여 소스 이미지와 운전 표정 매개변수로부터 트라이플레인을 직접 생성한다. 표정 적응형 레이어 정규화(EAdaLN)를 통해 표정 매개변수를 시각 토큰에 직접 주입한다. 표정-외모 분리를 위한 대조 학습 기반 사전 학습: 3DMM 표정 매개변수에 포함된 외모 정보를 제거하기 위해 대조 학습 기반의 사전 학습 프레임워크(CLeBS)를 제안한다. CLeBS는 직교 구조를 가지는 표정 표현을 학습하여 교차 정체성 표정 전달 시 외모 변화를 방지한다. 차별화된 볼륨 렌더링: 생성된 트라이플레인을 차별화 가능한 볼륨 렌더링을 통해 다양한 뷰의 이미지로 출력한다. 고해상도 출력을 위해 초해상도 블록을 추가한다. 실험 결과, 제안 방법은 교차 정체성 표정 전달 시 외모 변화 없이 안정적인 성능을 보였다. 또한 3D 인식 및 다양한 뷰 합성에서도 우수한 결과를 보였다.

Stats

소스 이미지와 운전 이미지의 표정 매개변수 β를 이용하여 트라이플레인을 생성한다. 소스 이미지와 운전 이미지의 카메라 매개변수 p를 이용하여 차별화 가능한 볼륨 렌더링을 수행한다.

Quotes

없음

Key Insights Distilled From

Learning to Generate Conditional Tri-plane for 3D-aware Expression Controllable Portrait Animation

by Taekyung Ki,... at arxiv.org 04-02-2024

https://arxiv.org/pdf/2404.00636.pdf

Deeper Inquiries

소스 이미지와 운전 이미지의 배경 분리를 통해 더 정교한 초상화 애니메이션을 생성할 수 있을까

소스 이미지와 운전 이미지의 배경을 분리하여 더 정교한 초상화 애니메이션을 생성하는 것은 가능합니다. 현재의 연구에서는 tri-plane을 사용하여 전체 이미지를 처리하지만, tri-plane 표현을 확장하여 전신 이미지의 전면과 배경을 분리하는 방법을 고려할 수 있습니다. 이를 통해 더 정교한 초상화 애니메이션을 구현할 수 있을 것입니다.

제안 방법의 표정 및 자세 제어 범위를 확장하여 전신 애니메이션으로 확장할 수 있을까

제안된 방법의 표정 및 자세 제어 범위를 확장하여 전신 애니메이션으로 확장하는 것은 가능합니다. 현재의 모델은 얼굴 이미지에 초점을 맞추고 있지만, 적절한 확장을 통해 전신 이미지의 표정 및 자세를 제어할 수 있습니다. 이를 위해서는 적절한 데이터셋과 모델 아키텍처의 조정이 필요할 것입니다.

본 연구에서 제안한 대조 학습 기반 표정 표현 학습 기법은 다른 3D 합성 및 애니메이션 문제에도 적용할 수 있을까

본 연구에서 제안한 대조 학습 기반 표정 표현 학습 기법은 다른 3D 합성 및 애니메이션 문제에도 적용할 수 있습니다. 대조 학습은 표정 표현의 숨겨진 구조를 추출하고 표현을 분리하는 데 도움이 되므로, 다른 3D 합성 및 애니메이션 문제에도 적용하여 표현의 정확성과 일관성을 향상시킬 수 있을 것입니다. 이러한 방법은 다양한 영상 생성 및 편집 작업에 유용하게 활용될 수 있습니다.