Core Concepts
단일 참조 이미지만으로도 다양한 모달리티의 세부적인 아이덴티티 정보를 활용하여 고품질의 개인화된 초상화를 생성할 수 있다.
Abstract
이 논문은 ConsistentID라는 혁신적인 방법을 소개한다. ConsistentID는 단일 참조 이미지만으로도 다양한 모달리티의 세부적인 아이덴티티 정보를 활용하여 고품질의 개인화된 초상화를 생성할 수 있다.
ConsistentID는 두 가지 핵심 모듈로 구성된다:
다중 모달리티 초상화 프롬프트 생성기: 이미지, 해당 부위에 대한 텍스트 설명, 전체 얼굴 정보 등 다양한 모달리티의 세부적인 정보를 활용하여 정확한 초상화 프롬프트를 생성한다.
아이덴티티 보존 네트워크: 얼굴 부위별 주의 집중 전략을 통해 각 부위의 아이덴티티 정보가 혼합되지 않도록 하여 전체적인 아이덴티티 일관성을 유지한다.
또한 이 논문은 기존 데이터셋의 한계를 극복하기 위해 FGID라는 새로운 고품질 초상화 데이터셋을 소개한다. FGID는 세부적인 얼굴 정보와 설명을 포함하고 있어 ConsistentID 모델 학습에 활용된다.
실험 결과, ConsistentID는 기존 방법들에 비해 아이덴티티 일관성과 생성 품질 면에서 뛰어난 성능을 보였다. 또한 다양한 모달리티의 세부 정보를 활용함에도 불구하고 빠른 추론 속도를 유지하였다.
Stats
단일 참조 이미지만으로도 고품질의 개인화된 초상화를 생성할 수 있다.
다양한 모달리티의 세부적인 정보를 활용하여 아이덴티티 일관성과 생성 품질을 크게 향상시켰다.
빠른 추론 속도를 유지하면서도 세부적인 정보를 활용할 수 있다.
Quotes
"ConsistentID는 단일 참조 이미지만으로도 다양한 모달리티의 세부적인 아이덴티티 정보를 활용하여 고품질의 개인화된 초상화를 생성할 수 있다."
"ConsistentID는 얼굴 부위별 주의 집중 전략을 통해 각 부위의 아이덴티티 정보가 혼합되지 않도록 하여 전체적인 아이덴티티 일관성을 유지한다."