MagicPose는 인간 자세와 표정 전이를 위한 효과적인 방법을 제안한다. 참조 이미지의 외모 정보를 유지하면서 새로운 자세와 표정을 생성할 수 있다. 이를 위해 두 단계의 학습 전략을 사용한다:
외모 제어 모듈 사전 학습: 참조 이미지의 외모 정보(피부톤, 의복 등)를 효과적으로 제어할 수 있는 모듈을 사전 학습한다.
외모-자세 분리 미세 조정: 사전 학습된 외모 제어 모듈과 자세 제어 모듈을 함께 미세 조정하여 외모와 자세를 독립적으로 제어할 수 있도록 한다.
이를 통해 MagicPose는 참조 이미지의 아이덴티티를 잘 유지하면서도 새로운 자세와 표정을 생성할 수 있다. 또한 사전 학습된 Stable Diffusion 모델을 활용하여 다양한 스타일의 이미지에 대해 제너럴라이제이션이 뛰어나다.
To Another Language
from source content
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Di Chang,Yic... lúc arxiv.org 05-07-2024
https://arxiv.org/pdf/2311.12052.pdfYêu cầu sâu hơn