核心概念
MC2는 다양한 단일 개념 맞춤형 모델을 통합하여 여러 맞춤형 개념의 자연스러운 조합을 생성할 수 있습니다. 추가 학습 없이도 유연성과 충실도가 향상된 다중 개념 맞춤형 생성이 가능합니다.
摘要
이 논문은 다중 개념 맞춤형 이미지 생성을 위한 새로운 방법인 MC2를 제안합니다. MC2는 별도로 학습된 단일 개념 맞춤형 모델을 통합하여 여러 맞춤형 개념의 자연스러운 조합을 생성할 수 있습니다. 기존 방법들은 공동 학습 또는 모델 병합이 필요했지만, MC2는 추가 학습 없이도 유연성과 충실도가 향상된 다중 개념 맞춤형 생성을 가능하게 합니다.
MC2의 핵심 내용은 다음과 같습니다:
- 다중 개념 지침(MCG)을 통해 별도로 학습된 단일 개념 맞춤형 모델들 간의 소통을 가능하게 합니다.
- MCG는 각 개념의 활성화 영역을 식별하고 공간적으로 분리하여, 개념들 간의 속성 혼동을 줄입니다.
- MC2는 기존 텍스트-이미지 생성 모델의 조합 생성 능력을 향상시킬 수 있습니다.
- 실험 결과, MC2는 기존 방법들보다 다중 개념 맞춤형 생성과 조합 생성 성능이 우수합니다.
统计
서로 다른 개념의 활성화 영역이 겹치지 않을수록 여러 맞춤형 개념이 동시에 생성될 가능성이 높습니다.
개념별 토큰 임베딩에 대한 주의 가중치를 적응적으로 조정하면 관련 영역에 집중하고 관련 없는 영역의 영향을 줄일 수 있습니다.
引用
"MC2 decouples the requirements for model architecture via inference time optimization, allowing the integration of various heterogeneous single-concept customized models."
"MC2 adaptively refines the attention weights between visual and textual tokens, directing image regions to focus on their associated words while diminishing the impact of irrelevant ones."