Core Concepts
본 연구에서는 구조 일관성을 유지하면서도 효과적인 스타일 전이를 달성하기 위해 적응형 스타일 통합(ASI) 기법을 제안한다. ASI는 콘텐츠와 스타일 특징을 개별적으로 추출하고 구조 일관성 있게 통합하는 방식으로 작동한다.
Abstract
본 연구는 텍스트 기반 스타일 전이 작업에 초점을 맞추고 있다. 기존 방식들은 콘텐츠 프롬프트와 스타일 프롬프트를 단순히 연결하는 방식으로 스타일을 주입하였지만, 이로 인해 구조적 왜곡이 발생하는 문제가 있었다.
이를 해결하기 위해 본 연구에서는 적응형 스타일 통합(ASI) 기법을 제안한다. ASI는 두 가지 핵심 모듈로 구성된다:
시아메즈 크로스 어텐션(SiCA): 단일 트랙 크로스 어텐션을 이중 트랙 구조로 분리하여 콘텐츠와 스타일 특징을 개별적으로 추출한다.
적응형 콘텐츠-스타일 블렌딩(AdaBlending): 어텐션 헤드 수준과 공간 수준의 마스크를 활용하여 구조 일관성 있게 콘텐츠와 스타일을 통합한다.
이를 통해 본 연구의 방법은 기존 방식들에 비해 이미지 구조를 더 잘 보존하면서도 효과적인 스타일 전이를 달성할 수 있다. 실험 결과, 실제 이미지와 생성 이미지에 대한 다양한 스타일 전이 작업에서 제안 방식의 우수성을 확인할 수 있었다.
Stats
콘텐츠 특징과 스타일 특징의 공간 수준 공분산 차이가 크면 해당 어텐션 헤드에 스타일을 주입하는 것이 효과적이지 않다.
콘텐츠 특징에서 활성화가 높은 영역은 핵심 구조 정보를 나타내므로 이를 보존해야 한다.
Quotes
"본 연구에서는 구조 일관성을 유지하면서도 효과적인 스타일 전이를 달성하기 위해 적응형 스타일 통합(ASI) 기법을 제안한다."
"ASI는 콘텐츠와 스타일 특징을 개별적으로 추출하고 구조 일관성 있게 통합하는 방식으로 작동한다."