이 논문은 언어 모델의 내부 매개변수에 접근할 수 없는 흑박스 환경에서 텍스트 분류 성능을 향상시키는 CrossTune 기법을 제안한다.
주요 내용은 다음과 같다:
CrossTune은 언어 모델을 특징 추출기로 활용하고, 레이블 설명을 추가 입력 정보로 사용하여 입력 텍스트와 레이블 간의 의미적 연관성을 모델링한다.
소량 학습 상황에서 모델의 일반화 성능을 높이기 위해, 기존 연구와 달리 인-분포 무레이블 데이터에 의존하지 않고 ChatGPT를 활용하여 레이블 기반 데이터 증강을 수행한다. 데이터 품질 관리를 위해 DeBERTa 모델을 활용한 스위치 메커니즘을 도입한다.
7개의 벤치마크 데이터셋에 대한 실험 결과, CrossTune은 기존 최신 흑박스 튜닝 기법 대비 평균 5.7% 향상된 성능을 보였다. 데이터 증강을 사용하지 않더라도 기존 방법들과 비교해 우수하거나 유사한 성능을 달성했다.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Danqing Luo,... at arxiv.org 03-20-2024
https://arxiv.org/pdf/2403.12468.pdfDeeper Inquiries