이 논문은 지침 기반 이미지 편집 방법의 한계를 해결하기 위해 InstructBrush를 제안합니다. InstructBrush는 참조 이미지 쌍에서 편집 효과를 추출하여 새로운 이미지 편집에 적용하는 방법입니다.
주의 기반 지침 최적화: 지침을 CLIP 공간이 아닌 교차 주의 층의 특징 공간에서 최적화하여 편집 효과의 세부 사항을 더 정확하게 표현할 수 있습니다.
변환 지향 지침 초기화: 편집 전후 이미지의 고유 구문을 추출하여 지침 초기화에 활용함으로써 편집 관련 정보를 효과적으로 도입하고 지침의 일반화 능력을 향상시킵니다.
TOP-Bench 벤치마크: 다양한 편집 효과와 시나리오를 포함하는 벤치마크를 구축하여 지침 역전 방법의 성능을 종합적으로 평가할 수 있습니다.
실험 결과, InstructBrush는 기존 방법에 비해 편집 성능과 의미적 일관성이 우수한 것으로 나타났습니다.
Sang ngôn ngữ khác
từ nội dung nguồn
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Ruoyu Zhao,Q... lúc arxiv.org 03-28-2024
https://arxiv.org/pdf/2403.18660.pdfYêu cầu sâu hơn