Core Concepts
기업은 고유 도메인 지식으로 LLM(Large Language Model)을 교육하여 활용할 필요가 있으며, 이를 위한 최적의 리소스와 비용, 시간 활용이 중요하다.
Abstract
이 논문은 기업이 LLM을 미세 조정하는 실용적인 방법을 제시한다.
주요 내용은 다음과 같다:
- LLM 미세 조정을 위한 데이터 전처리 방법 제안
- 문서 데이터: 문단 단위 청크화, 질문-답변 쌍 생성, 키워드-문단 쌍 생성
- 코드 데이터: 요약-함수 쌍 생성
- 다양한 PEFT(Parameter Efficient Fine Tuning) 기법 실험 및 비교
- 양자화, 그래디언트 누적, LoRA, QLoRA 등
- 실험 결과를 바탕으로 한 실용적인 미세 조정 지침 제공
- 데이터 준비, 하드웨어 선택, 하이퍼파라미터 튜닝 등
이 논문은 LLM 미세 조정을 처음 시도하는 사용자들에게 실용적인 가이드라인을 제공한다.
Stats
양자화를 통해 GPU 메모리를 크게 줄일 수 있지만, 추론 시간이 증가한다.
A100 80GB GPU에서 LLaMA 2 7B, 13B, 70B 모델의 최대 PEFT 구성이 가능하다.
데이터 행 수가 증가할수록 미세 조정 시간도 선형적으로 증가한다.
Quotes
"LLMs like LLaMA have been trained on trillions of tokens[4] from various resources. To adapt a general purpose LLM for one of these specific tasks, it has to be trained on task oriented dataset."
"Domain specific LLMs can be helpful in scenarios such as support ticket resolution, querying document base or code repository to adapt into new system etc."
"Fine-tuned LLMs provide quality and custom feel to the stake holder and also has low latency in displaying the results."