CLLMs: Consistency Large Language Models for Efficient Inference

核心概念

Developing CLLMs to enhance efficiency in large language model inference through parallel decoding methods.

要約

新しいアプローチであるCLLMsは、Jacobiデコーディングを使用して効率的な大規模言語モデルの推論を実現するために開発されました。この手法は、ジャコビデコーディングを通じて、高速な収束と生成速度の向上を実証しています。CLLMsは、追加のモデル構成やドラフトモデルの管理が不要であり、他の効率的なLLM推論技術とシームレスに統合できます。

統計

Jacobi decoding shows 2.4× to 3.4× improvements in generation speed.
CLLMs achieve a 3.4× speedup on the Spider dataset.
CLLMs demonstrate enhanced efficiency, converging to the fixed point 2× faster than the Target LLM.
CLLMs can lead to a 2.0× to 6.8× improvement in fast-forwarded and stationary token counts.
Training on only ∼1M tokens for LLaMA-7B achieves a 3.4× speedup on the Spider dataset.

引用

"Extensive experiments demonstrate the effectiveness of our method, showing improvements in generation speed while preserving quality."
"Our method draws a sharp analogy to consistency models, aiming for single-step image generation."
"CLLMs deliver significant speedup with minimal performance degradation compared to other methods."

抽出されたキーインサイト

CLLMs

by Siqi Kou,Lan... 場所 arxiv.org 03-05-2024

https://arxiv.org/pdf/2403.00835.pdf

深掘り質問

質問1

CLLMsを事前トレーニングのジョブに適応させるためには、教師から生成された出力シーケンスを使用してJacobi軌跡データセットを収集し、CLLMを訓練することが重要です。これにより、追加のアーキテクチャ設計や2つの異なるモデルを単一システムで管理する複雑さが低減されます。また、オンポリシーGKD（Generalized Knowledge Distillation）を組み込むことで、既存のモデルが持つ強力な言語モデリング能力と高い推論効率を備えたプレトレーニング用途にCLLMsを採用する可能性があります。

質問2

Jacobi軌跡データセットを使用してCLLMsの訓練は潜在的な挑戦や制限事項も考慮する必要があります。例えば、データクリーニングは非常に重要であることから、高品質なJacobi軌跡データセット作成が不可欠です。また、ジャコビ・トラジェクトリ・コレクションへの追加オーバーヘッドも存在します。この点では従来型モデル訓練よりも時間や労力がかかる可能性があります。

質問3

メモリ効率および適応性の観点から見て、CLLMsはMedusaや仮説的解読法（speculative decoding）など他の技術と比較した場合どうでしょうか？ CLMMsは直接対象先行LLMから適応されているため、「Medusa」や「speculative decoding」 のような補完的アーキテクチャ部品（Cai et al., 2024; Li et al., 2024）または草案モデル（Leviathan et al., 2023; Zhou et al., 2023b; Liu et al., 2023） を必要としない点で利点があります。「Medusa」と比べてメモリ消費量も少なく抑えられています。この柔軟性により、「speculative decoding」 よりも良好な精度向上および同等以上の推定速度向上結果得られました。