Core Concepts
TREACLE은 사용자의 예산과 지연 시간 제약 하에서 정확도를 최대화하기 위해 대규모 언어 모델과 프롬프트를 동적으로 선택합니다.
Abstract
이 논문은 TREACLE이라는 강화 학습 기반 프레임워크를 제안합니다. TREACLE은 사용자의 예산과 지연 시간 제약 하에서 정확도를 최대화하기 위해 대규모 언어 모델(LLM)과 프롬프트를 동적으로 선택합니다.
TREACLE은 질문 텍스트 임베딩, 이전 응답 통계, 남은 예산 등의 상황 정보를 활용하여 최적의 LLM과 프롬프트를 선택합니다. 실험 결과, TREACLE은 기존 방법 대비 최대 85%의 비용 절감을 달성하면서도 높은 정확도를 유지할 수 있습니다. 또한 TREACLE은 새로운 LLM 추가나 API 가격 변동에 적응할 수 있으며, 질문 난이도 변화에도 강건한 성능을 보입니다.
Stats
예산이 $0.05일 때 TREACLE은 52.7%의 정확도로 질문에 답변할 수 있지만, 가장 저렴한 모델(Llama-2-7b)은 23.65%의 정확도만 달성할 수 있습니다.
예산이 $0.3에서 $10 사이일 때 TREACLE은 Llama-2-13b 모델을 약 1회 정도 재질의합니다.
Quotes
"TREACLE은 사용자의 예산과 지연 시간 제약 하에서 정확도를 최대화하기 위해 대규모 언어 모델과 프롬프트를 동적으로 선택합니다."
"실험 결과, TREACLE은 기존 방법 대비 최대 85%의 비용 절감을 달성하면서도 높은 정확도를 유지할 수 있습니다."