Core Concepts
본 연구는 LLM의 성능을 향상시키기 위해 다양한 In-Context 프롬프트 입력을 효과적으로 구축하는 In-Context Sampling (ICS) 기법을 제안한다.
Abstract
본 연구는 LLM의 In-Context Learning (ICL) 성능을 향상시키기 위해 In-Context Sampling (ICS) 기법을 제안한다. ICS는 3단계로 구성된다:
- 대표적인 ICL 데모 후보를 샘플링한다.
- 샘플링된 후보들로부터 다양한 ICL 프롬프트 입력을 생성하고, 각 입력에 대한 LLM의 예측을 획득한다.
- LLM의 가장 확신 있는 예측을 투표로 결정한다.
실험 결과, ICS 기법은 3개의 오픈소스 LLM (FLAN-T5-XL, Mistral-7B, Mixtral-8x7B)과 4개의 NLI 데이터셋 및 1개의 QA 데이터셋에서 일관되게 LLM의 성능을 향상시킨다. 또한 3가지 데이터 유사도 기반 ICS 전략을 통해 LLM의 성능을 더욱 높일 수 있음을 보여준다.
Stats
대량의 LLM 파라미터(수십억)로 인해 다양한 자연어 이해 능력을 보여준다.
소량 샷 In-Context Learning (ICL)은 LLM의 성능을 향상시키는 주요 프롬프팅 전략이다.
다양한 ICL 데모 구성이 LLM의 성능에 영향을 미치지만, 최적의 전략은 아직 정립되지 않았다.
Quotes
"LLMs with billions of parameters, such as FLAN-T5, LLaMA, and Mistral, have demonstrated exceptional natural language interpretation capability in terms of understanding versatile prompt inputs."
"We hypothesize that different ICL demonstrations provide LLMs with distinct knowledge about the task, leading to disparate understanding and predictions for the same data."