Основные понятия
대화 맥락 학습(ICL)은 사전 학습된 대규모 언어 모델(LLM)을 활용하여 소량의 예제만으로도 다양한 자연어 처리 작업을 수행할 수 있는 새로운 패러다임이다. 이 논문에서는 ICL의 효과를 높이기 위해 정보 검색 분야의 핵심 개념들을 적용하는 방안을 제안한다.
Аннотация
이 논문은 대화 맥락 학습(ICL)이라는 새로운 자연어 처리 패러다임을 소개하고, 이를 향상시키기 위해 정보 검색 분야의 핵심 개념들을 적용하는 방안을 제안한다.
ICL은 사전 학습된 대규모 언어 모델(LLM)을 활용하여 소량의 예제만으로도 다양한 자연어 처리 작업을 수행할 수 있는 새로운 방식이다. 기존 supervised learning과 달리, ICL에서는 소량의 레이블링된 예제를 프롬프트에 추가하여 모델의 출력을 제어한다.
이 논문에서는 ICL과 정보 검색 간의 유사성을 바탕으로 3가지 방향의 연구를 제안한다:
- 질의 성능 예측(QPP) 기법을 활용하여 각 입력에 대한 최적의 예제 개수를 동적으로 선택하는 적응형 ICL 방법.
- 예제의 유용성을 고려하여 순위화하는 지도 학습 기반 랭킹 모델 개발.
- 예제의 다양성을 고려하여 LLM 디코더의 편향을 줄이는 다면적 검색 기법 적용.
이를 통해 ICL의 성능을 향상시킬 수 있을 것으로 기대된다.
Статистика
대규모 언어 모델(LLM)은 수백만 개에서 수십억 개의 매개변수를 가지고 있다.
대화 맥락 학습(ICL)은 소량의 레이블링된 예제만으로도 다양한 자연어 처리 작업을 수행할 수 있다.
정보 검색 분야의 질의 성능 예측(QPP) 기법은 ICL에서 예제 개수 선택에 활용될 수 있다.
Цитаты
"ICL은 개념적으로 k-NN과 유사하며, 각 인스턴스에 대한 예측은 지역적 유사 인스턴스와 그 레이블에 의존한다."
"ICL에서 테스트 인스턴스는 IR에서의 질의에 해당하며, 훈련 집합에서 검색된 유사 예제는 문서 집합에서 검색된 문서에 해당한다."