이 논문은 대규모 다중 과제 데이터셋을 활용한 언어 모델 미세 조정을 위한 새로운 데이터 혼합 전략인 SMART를 소개한다. SMART는 두 단계로 구성된다:
실험 결과, SMART는 기존의 데이터 혼합 전략보다 우수한 성능을 보였다. 또한 SMART를 통해 소수의 대표적인 과제만으로도 전체 과제를 활용한 것과 유사한 성능을 달성할 수 있음을 확인했다. 이는 과제 수를 늘리는 것보다 대표적인 과제에 집중하는 것이 더 효과적일 수 있음을 시사한다.
Sang ngôn ngữ khác
từ nội dung nguồn
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by H S V N S Ko... lúc arxiv.org 03-14-2024
https://arxiv.org/pdf/2403.08370.pdfYêu cầu sâu hơn