Khái niệm cốt lõi
라벨 설명을 활용한 크로스 어텐션 네트워크를 통해 입력 텍스트와 라벨 간의 의미적 관련성을 모델링하여 흑박스 언어 모델을 효과적으로 적응시킬 수 있다.
Tóm tắt
이 논문은 흑박스 언어 모델을 효과적으로 적응시키는 CrossTune 기법을 제안한다. 기존의 프롬프트 최적화 기반 접근법과 달리, CrossTune은 라벨 설명을 활용하여 입력 텍스트와 라벨 간의 의미적 관련성을 모델링한다. 이를 통해 프롬프트 검색 과정 없이도 언어 모델을 효과적으로 적응시킬 수 있다.
또한 논문은 ChatGPT를 활용하여 추가 학습 데이터를 생성하는 방법을 제안한다. 생성된 데이터의 품질을 검증하기 위해 DeBERTa 모델을 활용한 스위치 메커니즘을 도입하였다.
7개의 벤치마크 데이터셋에 대한 실험 결과, CrossTune은 기존 최신 기법 대비 평균 5.7% 향상된 성능을 보였다. 데이터 증강 없이도 기존 기법들과 비교해 우수하거나 유사한 성능을 달성하였다.
Thống kê
소량의 학습 데이터(16개)만으로도 기존 최신 기법 대비 평균 5.7% 향상된 성능을 달성했다.
ChatGPT를 활용한 데이터 증강을 통해 추가적인 성능 향상을 이루었다.
Trích dẫn
"Training or finetuning large-scale language models (LLMs) requires substantial computation resources, motivating recent efforts to explore parameter-efficient adaptation to downstream tasks."
"To this end, we propose CrossTune, a label-enhanced black-box few-shot learner for the adaptation of the black-box LMs without prompt search."
"Instead of relying on in-distribution unlabeled training data, which are rarely available in real-life scenarios, we harness the power of a strong instruction-following text generator, ChatGPT, to generate data conditioned on the labels through in-context learning."