Konsep Inti
T2I 모델의 토큰 수준 CLIP 텍스트 임베딩에 존재하는 의미 방향을 식별하여 주제별 속성 표현을 세부적으로 제어할 수 있다.
Abstrak
이 논문은 텍스트 기반 이미지 생성(T2I) 모델에서 주제별 속성 제어를 달성하는 방법을 제안한다.
- 토큰 수준 CLIP 텍스트 임베딩에 존재하는 의미 방향을 식별하였다. 이를 통해 T2I 모델이 이해할 수 있는 세부적인 속성 제어가 가능하다.
- 대조적인 텍스트 프롬프트를 활용하여 특정 속성에 대한 의미 방향을 효율적으로 식별하는 두 가지 방법을 제안하였다.
- 최적화 없이 CLIP 텍스트 임베딩 차이를 활용하는 방법
- 강건한 의미 방향을 학습하는 최적화 기반 방법
- 이렇게 식별된 의미 방향을 프롬프트에 추가하여 주제별로 속성 표현을 세부적으로 제어할 수 있음을 보였다.
- 이 방법은 T2I 모델을 수정하지 않고도 추가 비용 없이 속성 제어를 달성할 수 있다.
Statistik
이 방법은 T2I 모델의 토큰 수준 CLIP 텍스트 임베딩에 존재하는 의미 방향을 활용한다.
대조적인 텍스트 프롬프트를 사용하여 특정 속성에 대한 의미 방향을 식별할 수 있다.
식별된 의미 방향을 프롬프트에 추가하여 주제별로 속성 표현을 세부적으로 제어할 수 있다.
Kutipan
"T2I 모델의 토큰 수준 CLIP 텍스트 임베딩에 존재하는 의미 방향을 식별하여 주제별 속성 표현을 세부적으로 제어할 수 있다."
"대조적인 텍스트 프롬프트를 활용하여 특정 속성에 대한 의미 방향을 효율적으로 식별할 수 있다."
"이 방법은 T2I 모델을 수정하지 않고도 추가 비용 없이 속성 제어를 달성할 수 있다."