이 연구는 텍스트-이미지 생성 작업에서 발생하는 개체 누출 및 속성 불일치 문제를 해결하기 위한 효율적인 훈련 없는 주의력 조절 패러다임을 제안한다.
주요 내용은 다음과 같다:
자기 주의력 온도 제어: 초기 단계에서 자기 주의력 모듈의 온도를 조절하여 개체 윤곽을 개선한다.
객체 중심 마스킹 메커니즘: 각 패치가 단일 개체 그룹에 집중할 수 있도록 하여 속성 불일치 발생을 줄인다.
단계별 동적 가중치 제어 전략: 생성 과정의 다양한 단계에서 프롬프트의 서로 다른 의미 구성 요소에 초점을 맞추도록 한다.
실험 결과, 제안된 방법은 추가 계산 비용 없이 기존 모델 대비 이미지-텍스트 정렬 성능을 향상시킨다.
Til et andet sprog
fra kildeindhold
arxiv.org
Vigtigste indsigter udtrukket fra
by Yihang Wu,Xi... kl. arxiv.org 04-23-2024
https://arxiv.org/pdf/2404.13899.pdfDybere Forespørgsler