核心概念
텍스처 표현을 개선하기 위해 대상 프롬프트를 ""로 직접 설정하고, 입력 이미지의 구조와 배경을 유지하는 기술을 제안한다.
要約
이 논문은 텍스트 기반 이미지 편집 기술인 TextureDiffusion을 제안한다. 기존 방법들은 단순한 텍스처(예: 나무, 금)만 적용할 수 있었지만, 제안 방법은 복잡한 텍스처(예: 구름, 불)도 성공적으로 전이할 수 있다.
핵심 아이디어는 다음과 같다:
- 대상 프롬프트를 ""로 직접 설정하여 텍스처 표현을 개선한다.
- 입력 이미지의 구조를 유지하기 위해 self-attention의 query 특징과 residual 블록의 특징을 활용한다.
- 배경을 유지하기 위해 self-attention 결과와 중간 잠재 공간을 혼합하는 편집 위치 기술을 도입한다.
실험 결과, 제안 방법은 기존 방법 대비 구조 유지, 배경 유지, 프롬프트-이미지 일관성이 우수하다.
統計
입력 이미지의 구조를 잘 유지하면서도 다양한 텍스처를 성공적으로 전이할 수 있다.
배경을 잘 유지하면서 대상 객체에만 텍스처를 적용할 수 있다.
프롬프트와 편집된 이미지의 일관성이 높다.
引用
"텍스처 표현을 개선하기 위해 대상 프롬프트를 ""로 직접 설정한다."
"입력 이미지의 구조를 유지하기 위해 self-attention의 query 특징과 residual 블록의 특징을 활용한다."
"배경을 유지하기 위해 self-attention 결과와 중간 잠재 공간을 혼합하는 편집 위치 기술을 도입한다."