핵심 개념
高性能な言語モデルを使用して処理コストを削減する新しいフレームワーク。
초록
大規模な言語モデル(LLM)の展開に伴う高いコストへの対応が重要。
Smartは、処理コストを最小限に抑えつつ、十分な結果品質を確保するための新しいLLMフレームワーク。
プロファイリングフェーズとアプリケーションフェーズから構成され、効率的な推論を実現。
実験では、SmartはOpenAIモデルに基づいて25.6倍までのコスト削減を達成。
통계
OpenAIモデルに基づく実験で、SmartはGPT-4と比較して25.6倍までのコスト削減を達成。
인용구
"We introduce Smart, Scaling Models Adaptively for Reduced Token Fees, a novel LLM framework designed to minimize the inference costs of NLP tasks while ensuring sufficient result quality."
"Our experiments on three real-world datasets show that, based on OpenAI models, Smart achieves significant cost savings, up to 25.6× in comparison to GPT-4."