Core Concepts
다양한 저자의 실험 결과를 통해, 적은 자원 언어에서의 대형 언어 모델 프롬프팅에 대한 최적의 방법을 탐색합니다.
Abstract
캘리포니아 대학교 산타크루즈에서 Christopher Toukmaji가 컴퓨터 과학 학사 학위 논문을 제출함
주요 내용: Neural Language Models, Transformers, Pre-training, Language-adaptive fine-tuning, Fine-tuning, Prompting, Multilinguality in PLMs
실험 방법: Prompt, Translate, Language-adaptive fine-tuning
평가 데이터셋: MasakhaNER, XL-Sum, KinNEWS
결과: Prompting 방법이 평균적으로 모든 작업 및 언어에서 가장 우수한 성능을 보임
Stats
"Hausa split of MasakhaNER averaged over 5 seeds"
"Hausa split of XL-Sum averaged over 5 seeds"
"Kinyarwanda split of MasakhaNER averaged over 5 seeds"
"Kinyarwanda split of KinNEWS averaged over 5 seeds"
"Luganda split of MasakhaNER averaged over 5 seeds"