核心概念
LLM2LLM은 소량의 초기 데이터셋을 활용하여 반복적으로 데이터를 증강하는 기법으로, 기존 모델 미세조정 방식에 비해 성능을 크게 향상시킬 수 있다.
要約
LLM2LLM은 다음과 같은 과정으로 진행됩니다:
- 초기 데이터셋으로 학생 모델(LLaMA2-7B)을 미세조정한다.
- 학생 모델의 성능을 평가하고, 잘못 예측한 데이터 포인트를 추출한다.
- 교사 모델(GPT-3.5 등)을 사용하여 이 잘못 예측된 데이터 포인트를 기반으로 새로운 데이터를 생성한다.
- 생성된 데이터를 초기 데이터셋에 추가하여 학생 모델을 다시 미세조정한다.
- 위 과정을 반복하여 학생 모델의 성능을 점진적으로 향상시킨다.
이러한 반복적이고 타겟팅된 데이터 증강 방식을 통해 LLM2LLM은 기존 미세조정 방식 대비 GSM8K에서 24.2%, CaseHOLD에서 32.6%, SNIPS에서 32.0%, TREC에서 52.6%, SST-2에서 39.8% 향상된 성능을 보였습니다.
統計
초기 데이터셋의 크기가 74개(전체 데이터의 1%)일 때, 미세조정만으로는 0.99%의 정확도를 보였지만, LLM2LLM을 적용하면 19.56%까지 향상되었습니다.
초기 데이터셋의 크기가 149개(전체 데이터의 2%)일 때, 미세조정만으로는 1.52%의 정확도를 보였지만, LLM2LLM을 적용하면 25.70%까지 향상되었습니다.
引用
"LLM2LLM은 소량의 초기 데이터셋을 활용하여 반복적으로 데이터를 증강하는 기법으로, 기존 모델 미세조정 방식에 비해 성능을 크게 향상시킬 수 있습니다."
"LLM2LLM은 GSM8K에서 24.2%, CaseHOLD에서 32.6%, SNIPS에서 32.0%, TREC에서 52.6%, SST-2에서 39.8% 향상된 성능을 보였습니다."