MagicPose는 인간 자세와 표정 전이를 위한 효과적인 방법을 제안한다. 참조 이미지의 외모 정보를 유지하면서 새로운 자세와 표정을 생성할 수 있다. 이를 위해 두 단계의 학습 전략을 사용한다:
외모 제어 모듈 사전 학습: 참조 이미지의 외모 정보(피부톤, 의복 등)를 효과적으로 제어할 수 있는 모듈을 사전 학습한다.
외모-자세 분리 미세 조정: 사전 학습된 외모 제어 모듈과 자세 제어 모듈을 함께 미세 조정하여 외모와 자세를 독립적으로 제어할 수 있도록 한다.
이를 통해 MagicPose는 참조 이미지의 아이덴티티를 잘 유지하면서도 새로운 자세와 표정을 생성할 수 있다. 또한 사전 학습된 Stable Diffusion 모델을 활용하여 다양한 스타일의 이미지에 대해 제너럴라이제이션이 뛰어나다.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Di Chang,Yic... at arxiv.org 05-07-2024
https://arxiv.org/pdf/2311.12052.pdfDeeper Inquiries