이 논문은 비전-언어 모델의 효율적인 적응을 위해 속성 기반 프롬프트 튜닝 기법을 제안한다. 주요 내용은 다음과 같다:
기존 프롬프트 튜닝 방식은 클래스 이름을 직접 사용하지만, 이는 모델이 부적절한 근거에 의존하게 만들 수 있다. 이를 해결하기 위해 대신 대규모 언어 모델로부터 생성된 시각적 속성을 활용한다.
생성된 속성 중 가장 대표적이고 중복되지 않은 속성을 선별하는 속성 샘플링 기법을 제안한다. 이를 통해 계산 자원을 절감하면서도 성능을 향상시킬 수 있다.
모델이 클래스와 무관한 속성에 대해서는 균일한 예측 분포를 보이도록 하는 부정적 프롬프팅 기법을 도입한다. 이를 통해 모델이 부적절한 근거에 의존하는 것을 방지할 수 있다.
실험 결과, 제안 방식은 기존 최신 기법들을 뛰어넘는 성능을 보였으며, 특히 새로운 클래스 예측과 분포 외 일반화 작업에서 강점을 보였다.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Xinyu Tian,S... at arxiv.org 03-14-2024
https://arxiv.org/pdf/2311.16494.pdfDeeper Inquiries