Conceptos Básicos
저자 수준 LLM을 활용하여 매우 적은 수의 실제 데이터로도 효율적이고 효과적인 텍스트 분류기를 구축할 수 있다.
Resumen
이 논문은 저자 수준 언어 모델(LLM)을 활용하여 매우 적은 수의 실제 데이터로도 효율적이고 효과적인 텍스트 분류기를 구축하는 방법을 제안한다.
- 생성 단계: LLM을 활용하여 각 클래스에 대한 합성 데이터를 생성한다.
- 필터링 단계: 생성된 데이터 중 라벨 불일치 데이터를 LLM의 ICL 기능을 활용하여 제거한다.
- 학습 단계: 필터링된 합성 데이터와 실제 데이터를 함께 사용하여 LLM을 PEFT 기법으로 미세 조정한다.
실험 결과, 제안 방법은 ICL 대비 유사하거나 더 나은 성능을 보이면서도 추론 시간은 2-5배 빠른 것으로 나타났다. 또한 매우 적은 수의 실제 데이터만으로도 PEFT 기법의 성능을 크게 향상시킬 수 있음을 보였다.
Estadísticas
매우 적은 수의 실제 데이터(클래스당 4개)로도 PEFT 기법의 성능을 크게 향상시킬 수 있다.
제안 방법은 ICL 대비 유사하거나 더 나은 성능을 보이면서도 추론 시간은 2-5배 빠르다.
Citas
"LLMs already have some knowledge of how to solve a classification task, but the sub-optimal usage of the available resources (i.e., the few-shot examples) results in low PEFT performance under the low-resource setting."
"Our method consists of three steps. First, we use the LLM to generate synthetic examples for each class of the text classification task we target. Then, we use the same LLM in the ICL setting to classify the examples and clean the data by removing label-inconsistent generated examples. Finally, we fine-tune the LLM with PEFT using the generated and cleaned data."