이 연구는 물체 인식 모델의 지리적 강건성 향상을 위해 두 가지 접근법을 제안한다.
첫째, CLIP 모델의 내부 지리적 지식과 GPT-3 모델의 외부 지리적 설명적 지식을 활용하여 프롬프팅을 개선한다. 국가 이름을 포함하거나 지역별 객체 특징 설명을 추가하여 프롬프트를 보강함으로써 다양한 지역에서의 물체 인식 성능을 향상시킬 수 있다.
둘째, 지리적 지식 정규화 기법을 제안한다. 이는 특정 지역(예: 유럽)의 데이터로만 학습된 소프트 프롬프트가 다른 지역(예: 아프리카, 아시아, 아메리카)에서도 일반화될 수 있도록 하는 것이다. 이를 통해 타겟 지역에 대한 성능 향상을 달성할 수 있다.
실험 결과, 제안 기법은 기존 방법 대비 아프리카와 아시아 지역에서 최대 2.8/1.2/1.6의 성능 향상을 보였다. 또한 가장 어려운 클래스에서 4.6의 향상을 보였다. 타겟 데이터 없이도 소수 샷 학습 모델을 능가하는 성과를 보였다.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Kyle Buettne... at arxiv.org 04-02-2024
https://arxiv.org/pdf/2401.01482.pdfDeeper Inquiries