Core Concepts
뉴스 기사의 추상적인 제목 정보를 활용하여 관련 이미지를 생성하는 방법을 제안한다.
Abstract
이 논문은 텍스트-이미지 합성 모델의 성능을 향상시키기 위해 뉴스 기사의 추상적인 제목 정보를 활용하는 방법을 제안한다.
- 기존 텍스트-이미지 합성 모델은 주로 설명적이고 지시적인 프롬프트를 사용하지만, 실제 뉴스 기사의 제목은 상황 정보와 개체명 정보를 포함하는 추상적인 형태를 가진다.
- 이를 해결하기 위해 ANCHOR 데이터셋을 제안하였다. ANCHOR 데이터셋은 5개 뉴스 매체에서 수집한 70,000개 이상의 추상적인 뉴스 제목-이미지 쌍을 포함한다.
- 또한 대형 언어 모델(LLM)을 활용하여 추상적인 제목에서 핵심 주제를 식별하고 강조하는 Subject-Aware Fine-tuning (SAFE) 방법을 제안하였다.
- SAFE 모델은 도메인 특화 파인튜닝과 LLM 기반 주제 가중치 적용을 통해 기존 모델 대비 향상된 성능을 보였다.
Stats
뉴스 기사 제목은 평균 14.84개의 단어로 구성되며, 표준편차는 5.51로 다양한 길이의 제목이 포함되어 있다.
ANCHOR 데이터셋에는 51,026개의 고유 토큰이 포함되어 있어 다양한 어휘가 사용되고 있다.
Quotes
"News image captions follow a common format: A headline followed by the article body, along with visual elements such as images or videos. These visual mediums help readers assimilate certain concepts discussed in the article."
"A good news image caption must not state obvious observations from the image, rather inform readers about the context behind the photo and support the topics/ideas discussed in the article."