المفاهيم الأساسية
사용자가 정의한 정확도 제약 조건 내에서 언어 모델 비용을 최소화하는 방법을 제안합니다.
الملخص
이 논문은 언어 모델(LLM) 사용의 비용 문제를 해결하기 위한 Smart 프레임워크를 소개합니다. Smart는 사용자가 정의한 정확도 제약 조건 내에서 LLM 사용 비용을 최소화하는 것을 목표로 합니다.
Smart는 두 단계로 구성됩니다:
프로파일링 단계: 다양한 LLM의 정확도를 평가하여 사용자가 정의한 정확도 제약 조건을 만족하는 LLM을 식별합니다.
적용 단계: 프로파일링 결과를 바탕으로 남은 입력 데이터를 가장 비용 효율적인 방식으로 처리합니다. 이때 단일 LLM을 사용하는 것이 아니라 여러 LLM을 조합하여 사용함으로써 비용을 추가로 절감할 수 있습니다.
프로파일링 단계에서는 각 LLM의 정확도를 바이노미얼 신뢰구간을 통해 평가합니다. 이를 통해 사용자가 정의한 정확도 제약 조건을 만족하는 LLM을 식별합니다. 프로파일링 비용이 클 수 있기 때문에, Smart는 추가적인 프로파일링이 비용 절감에 도움이 되지 않을 것으로 예상되면 조기에 프로파일링을 중단합니다.
적용 단계에서는 프로파일링 결과를 바탕으로 여러 LLM을 조합하여 사용함으로써 비용을 추가로 절감합니다. 이를 위해 혼합 정수 선형 프로그래밍 문제를 풀어 각 LLM의 최적 사용 비율을 결정합니다.
실험 결과, Smart는 OpenAI 모델 기준으로 IMDB, SMS-Spam, AgNews 데이터셋에서 각각 최대 25.6배, 16.0배, 21.8배의 비용 절감을 달성했습니다.
الإحصائيات
OpenAI의 GPT-4 모델은 IMDB 데이터셋의 감성 분류 작업에 $0.03 비용이 듭니다.
OpenAI의 GPT-3.5 turbo-1106 모델은 IMDB 데이터셋의 감성 분류 작업에 $0.0015 비용이 듭니다.
اقتباسات
"LLM 배포에 따른 비용이 상당히 증가했습니다. 이는 모델 성능 향상을 위해 매개변수 수가 늘어났기 때문입니다."
"사용자는 자신의 작업에 적합한 LLM을 선택하는 데 어려움을 겪고 있습니다. 특히 기준이 되는 정답 레이블이 없는 경우 더욱 그렇습니다."