LLMの圧縮についての真実と課題：知識密度の影響

Core Concepts

現代の大規模言語モデル（LLMs）の圧縮は、パフォーマンスに重要な影響を与える。

Abstract

ICLR 2024で発表された会議論文
現代の大規模言語モデル（LLMs）における圧縮方法とその効果に焦点を当てた研究内容
圧縮LLMsの能力を包括的に評価するため、Knowledge-Intensive Compressed LLM BenchmarK（LLM-KICK）が導入された。
LLM-KICKは、圧縮されたLLMsの性能を保持する方法や限界を明らかにし、新しい圧縮アルゴリズムの開発を促進することを目指している。
複数のタスク設定で圧縮されたLLMsのパフォーマンスが評価され、異なる圧縮手法や難易度レベルで比較されている。

Stats

近年の研究では、50〜60％の希薄化と3〜4ビット/重量へのビット幅削減が達成されている。
圧縮されたLLMsは、未加工ベースラインと比較して無視できるパープレキシティ低下で50％以上の希薄化でも堅牢性が示されている。

Quotes

"Perplexity, even in the case of dense LLMs, has been questioned as an unsatisfactory measure for comparing the true potential of LLMs."
"Compression significantly impacts the knowledge encoded in LLMs during pre-training."

Key Insights Distilled From

Compressing LLMs

by Ajay Jaiswal... at arxiv.org 03-19-2024

https://arxiv.org/pdf/2310.01382.pdf

Deeper Inquiries

どうすれば失われた知識を回復させることができますか？

LLMの圧縮によって失われた知識を回復する方法は、パラメーター効率的なファインチューニング手法を使用することです。例えば、LoRAやQLoRAなどの手法が挙げられます。これらの手法は、圧縮されたLLMに対して追加のトレーニングを行い、性能低下を最小限に抑えつつ失われた知識を再度取り戻すことが可能です。特定のタスクやデータセットに焦点を当てて適切なファインチューニングアプローチを探求し、失った情報量や性能低下を補完することが重要です。

SoTA pruning methodsよりも単純な基準であるone-shot magnitude pruningはどれだけ効果的ですか？

SoTA pruning methodsと比較してone-shot magnitude pruningは意外なほど高い効果があります。実験結果から明らかにされる通り、一部の場合ではSoTA pruning methodsよりも優れたパフォーマンスを示すことがあります。特に厳密な条件下であるマッチング圧縮領域では、単純なone-shot magnitude pruningが同等以上または若干優れている結果が見られます。この事実から推測されるように、時にシンプルで直接的なアプローチが複雑化した方法よりも有益である場合もあることが示唆されています。

キャリブレーションサンプル数はどれくらい必要ですか？

キャリブレーション依存型の剪定方法（WandaやSparseGPT）のパフォーマンス向上においてキャリブレーションサンプル数は非常に重要です。実験結果から分かる通り、「SparseGPT」では「Wanda」と比較してキャリブレーションサンプル数の増加量次第で顕著な改善効果が得られました。「Wanda」では高い剪定率（70%）でも何ら改善しなかった一方、「SparseGPT」は驚くほどキャリブレーショントカウントごとに目立った利益を享受しました。この結果から明白な通り、慎重選択されたキャリブレーションサンプル数はLMMs を大幅剪定までも可能とし良好成績達成する上で極めて重要だろう事象示唆します。