이 논문은 언어 모델(LLM) 사용의 비용 문제를 해결하기 위한 Smart 프레임워크를 소개합니다. Smart는 사용자가 정의한 정확도 제약 조건 내에서 LLM 사용 비용을 최소화하는 것을 목표로 합니다.
Smart는 두 단계로 구성됩니다:
프로파일링 단계에서는 각 LLM의 정확도를 바이노미얼 신뢰구간을 통해 평가합니다. 이를 통해 사용자가 정의한 정확도 제약 조건을 만족하는 LLM을 식별합니다. 프로파일링 비용이 클 수 있기 때문에, Smart는 추가적인 프로파일링이 비용 절감에 도움이 되지 않을 것으로 예상되면 조기에 프로파일링을 중단합니다.
적용 단계에서는 프로파일링 결과를 바탕으로 여러 LLM을 조합하여 사용함으로써 비용을 추가로 절감합니다. 이를 위해 혼합 정수 선형 프로그래밍 문제를 풀어 각 LLM의 최적 사용 비율을 결정합니다.
실험 결과, Smart는 OpenAI 모델 기준으로 IMDB, SMS-Spam, AgNews 데이터셋에서 각각 최대 25.6배, 16.0배, 21.8배의 비용 절감을 달성했습니다.
Na inny język
z treści źródłowej
arxiv.org
Głębsze pytania