본 논문은 이미지 기반 가상 착용 기술에 대해 다룬다. 기존의 GAN 기반 가상 착용 모델은 복잡한 자세에서 비현실적인 결과를 생성하고, 확산 모델 기반 가상 착용 모델은 의복 패턴 및 질감 재현에 어려움을 겪는다는 문제점이 있다.
이를 해결하기 위해 저자들은 CAT-DM을 제안한다. CAT-DM은 두 가지 핵심 구성요소로 이루어진다:
GC-DM: 확산 모델의 제어 가능성을 높이기 위해 ControlNet 아키텍처를 활용하고, 의복 이미지 특징 추출을 개선한다. 또한 Poisson blending을 사용하여 원래 사람 이미지와 생성된 가상 착용 이미지를 자연스럽게 통합한다.
단축 기반 가속 전략: 사전 학습된 GAN 모델을 활용하여 초기 가상 착용 이미지를 생성하고, 여기에 노이즈를 추가하여 역확산 과정의 시작점으로 사용한다. 이를 통해 확산 모델의 샘플링 속도를 크게 향상시킬 수 있다.
실험 결과, CAT-DM은 GAN 기반 및 확산 모델 기반 가상 착용 기술 대비 더 현실적이고 정확한 의복 패턴 재현 성능을 보여준다. 또한 기존 확산 모델 대비 25배 빠른 샘플링 속도를 달성한다.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Jianhao Zeng... at arxiv.org 04-29-2024
https://arxiv.org/pdf/2311.18405.pdfDeeper Inquiries