Belangrijkste concepten
최신 언어 모델들은 제로 및 소수 샘플 설정에서 우수한 성능을 보이지만, 기존 미세 조정 기반 접근법과 비교했을 때 텍스트 분류 문제에서 여전히 개선의 여지가 있다.
Samenvatting
이 연구는 16개의 텍스트 분류 데이터셋을 대상으로 대규모 평가 연구를 수행하여 제로 및 소수 샘플 설정에서 대형 언어 모델의 접근법과 더 작은 언어 모델의 미세 조정 접근법을 비교한다.
주요 결과는 다음과 같다:
- Flan-T5와 같은 더 작은 규모의 언어 모델이 제로 및 소수 샘플 분류에서 더 큰 언어 모델보다 우수한 성능을 보인다.
- 프롬프트 선택이 모델 성능에 미치는 영향은 크지 않다.
- 이진 및 다중 클래스 분류 문제에서는 프롬프팅이 미세 조정보다 우수하지만, 다중 레이블 분류에서는 미세 조정이 더 나은 성과를 보인다.
- 도메인과 데이터셋 수준에서 모델 성능의 차이가 크게 나타난다.
Statistieken
최신 언어 모델들은 제로 및 소수 샘플 설정에서 우수한 성능을 보인다.
기존 미세 조정 기반 접근법과 비교했을 때 텍스트 분류 문제에서 여전히 개선의 여지가 있다.
Citaten
"Recent foundational language models have shown state-of-the-art performance in many NLP tasks in zero- and few-shot settings."
"However, existing research is limited in scale and lacks understanding of how text generation models combined with prompting techniques compare to more established methods for text classification such as fine-tuning masked language models."