LLM Calls and Compound Inference Systems Scaling Laws

Core Concepts

Increasing the number of LLM calls may not always improve performance due to query difficulty diversity.

Abstract

最近の言語タスクにおける多くの最先端の結果は、複数の大規模言語モデル（LLM）を使用して行われています。しかし、LLMコールの数が複合システムのパフォーマンスにどのように影響するかについてはほとんど理解されていません。本研究では、1層の投票推論システムのスケーリング則を研究しました。実験結果から、LLMコール数が増えるとパフォーマンスが初めは向上しますが後で低下することが明らかになりました。

Stats

Figure 1: How the number of calls to GPT-3.5 affects its performance on the MMLU college mathematics dataset [HBB+20] when aggregating results via majority vote.
Figure 2: Performance breakdown on easy and hard items. As the number of LLM calls increases, the one-layer Voting Inference System performs increasingly better on easy items but increasingly worse on the hard items. The math dataset consists of 58% hard questions.

Quotes

Key Insights Distilled From

Are More LLM Calls All You Need? Towards Scaling Laws of Compound Inference Systems

by Lingjiao Che... at arxiv.org 03-06-2024

https://arxiv.org/pdf/2403.02419.pdf

Deeper Inquiries

他の構築物はどうスケールするか？

与えられた文脈から、他の構築物がどのようにスケーリングされるかを考えるとき、重要な点がいくつかあります。まず第一に、1層の投票推論システム以外の構築物では、異なる集約メカニズムや選択方法が使用されています。例えば、ランキングやフィルタリングを行い最良の回答を選択するシステムもあります。これらの場合、ネットワークサイズ拡大に伴うパフォーマンス変化は異なる可能性があります。
さらに、完璧なランカー（常に最良の回答を選択する）を基盤としたシステムではネットワークサイズとパフォーマンス間でどんな関係があるかも興味深いです。このような理想的条件下では単調増加していくことが予想されますが、実際問題ではこのような完全条件は稀であるため現実的視点からアプローチする必要があります。
今後はこれら別々の構築物ごとにその特性や挙動を詳しく調査し理解していくことでAIシステム設計や効率的利用法へ貢献できる可能性があります。

コスト、パフォーマンス、レイテンシー・スケーリングをバランスさせる方法は

コスト、パフォーマンス、レイテンシー・スケーリングをバランスさせる方法は多岐にわたります。まず初めに重要なポイントは各要素間のトレードオフ関係です。例えばコスト削減優先だった場合でもそれがパフォーマンス低下や処理時間増加等引き起こす可能性も考慮しなければいけません。
効果的バランセイング手法として以下提案します：

パラメータチューニング：各項目（コスト/パフォーマン /レイテンシ） の最適値探索
エラーアナリシ : 過去データ分析しエラー原因究明
時系列分析: 各指標変化追跡し将来予測
またAI開発段階からこれらバランセイング視点取り入れておく事重要です。

クエリの難易度を正確に予測する方法は

クエリ難易度正確予測方法幾つか存在します。

経験則: 過去データ及び結果参考し難易度推定
自然言語処理技術: 自然言語生成能力活用し質問内容解釈難易度判断
教師付き学習: 人手作業者マニュアル難易度付与学習

以上３つ手法有効活用すれば精密難易度予測可能です。