이 논문은 제한된 데이터 환경에서 비전-언어 모델의 성능을 향상시키기 위한 조건부 프로토타입 정정 프롬프트 학습(CPR) 방법을 제안한다.
조건부 어댑터(CoAdapter): 입력 이미지와 텍스트/시각적 프로토타입 간의 관계를 활용하여 입력 이미지에 맞춤화된 특징을 생성한다. 이를 통해 과제 특화 지식을 효과적으로 모델링할 수 있다.
최근접 이웃 정정(NNR): 레이블되지 않은 데이터에서 추출한 지식을 활용하여 프로토타입을 보완함으로써 기저 클래스에 대한 편향을 완화한다. 이는 외부 데이터나 합성 데이터를 사용하지 않고도 데이터를 효과적으로 보강할 수 있다.
실험 결과, CPR은 11개의 벤치마크 데이터셋에서 기존 방법들을 능가하는 성능을 보였다. 특히 제한된 데이터 환경에서의 few-shot 분류와 기저 클래스에서 새로운 클래스로의 일반화 작업에서 우수한 성과를 달성했다.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Haoxing Chen... at arxiv.org 04-16-2024
https://arxiv.org/pdf/2404.09872.pdfDeeper Inquiries