大規模言語モデルをエッジデバイスに効率的に蒸留する

Core Concepts

大規模言語モデルをエッジデバイスに効率的に展開するための新しい手法「Multistage Low-rank Fine-tuning of Super-transformers (MLFS)」を提案する。エンコーダモデルでは従来手法と同等以上の性能を示しつつ、大幅な圧縮を実現できる。デコーダモデルでは同程度の圧縮は難しいが、学習時間を大幅に短縮できる。

Abstract

本論文では、大規模言語モデル(LLM)をエッジデバイスに効率的に展開するための新しい手法「Multistage Low-rank Fine-tuning of Super-transformers (MLFS)」を提案している。
まず、LLMをエッジデバイスに適用するための2つの要件を示す。1つは、様々なエッジデバイスのハードウェアに対応できること、もう1つは、デバイスの利用可能リソースの変化に応じて適切なモデルを動的に選択できることである。
従来の圧縮手法では、単一の小型モデルしか得られず、これらの要件を満たせない。そこで本手法では、スーパーネットワーク(supernet)と呼ばれる動的なモデルを活用する。スーパーネットワークは、様々な構造の小型サブネットワーク(subnet)を同時に学習できる。
具体的な手法は以下の通り:

教師モデルの低ランク行列を学習し、それをスーパーネットの初期化に使う(stage 0)
スーパーネットの中から様々な構造のサブネットを抽出し、それぞれの低ランク行列を学習する(stage 1, 2)
学習したサブネットの中から、必要に応じて適切なサイズのモデルを選択して展開する

この手法により、エンコーダモデルでは従来手法と同等以上の性能を示しつつ、大幅な圧縮を実現できる。一方、デコーダモデルでは同程度の圧縮は難しいが、学習時間を大幅に短縮できる。
また、サブネットの収束速度を上げるための勾配スケーリング手法も提案している。

Stats

大規模言語モデルは通常数十億パラメータを持つ
提案手法MLFS では、低ランク行列A, Bのみを学習すればよく、その総パラメータ数は6rdとなる(rは低ランク)
一方、全パラメータを学習する場合は、d^2個のパラメータを更新する必要がある(dは通常10^4~10^6)

Quotes

"Supernet training of LLMs is of great interest in industrial applications as it confers the ability to produce a palette of smaller models at constant cost, regardless of the number of models (of different size / latency) produced."
"We show that it is possible to obtain high-quality encoder models that are suitable for commercial edge applications, and that while decoder-only models are resistant to a comparable degree of compression, decoders can be effectively sliced for a significant reduction in training time."

Key Insights Distilled From

Efficiently Distilling LLMs for Edge Applications

by Achintya Kun... at arxiv.org 04-03-2024

https://arxiv.org/pdf/2404.01353.pdf

Deeper Inquiries

エッジデバイス向けの大規模言語モデルを効率的に展開する上で、どのようなユースケースが考えられるか

エッジデバイス向けの大規模言語モデルを効率的に展開する上で、以下のようなユースケースが考えられます:

エッジデバイス上でのリアルタイムの自然言語処理タスク
オフライン環境での高度な言語処理タスク
エッジコンピューティング環境でのプライバシー保護が必要なタスク
ネットワーク遅延を最小限に抑えた高速な推論処理
これらのユースケースでは、エッジデバイス上でのメモリや計算能力の制約に対応しつつ、高品質な言語処理を実現するために大規模言語モデルを効率的に展開する必要があります。

デコーダモデルの圧縮性能が低い理由は何か、どのような対策が考えられるか

デコーダモデルの圧縮性能が低い理由は、通常、デコーダはエンコーダよりもパラメータが多く、複雑な構造を持つためです。デコーダは文の生成や翻訳などのタスクに使用され、その複雑な構造を維持しながら圧縮することは難しい場合があります。
デコーダモデルの圧縮性能を向上させるための対策としては、以下のようなアプローチが考えられます:

デコーダモデルの特定の部分を重点的に圧縮する
モデルの特定の層を削減する
モデルの一部の機能を犠牲にして圧縮を行う
これらの対策を組み合わせることで、デコーダモデルの圧縮性能を向上させることが可能です。

本手法で得られた知見は、他の分野の大規模モデル圧縮にも応用できるか

本手法で得られた知見は、他の分野の大規模モデル圧縮にも応用可能です。例えば、画像認識や音声処理などの分野においても、大規模モデルの圧縮や効率的な展開が重要です。MLFSのような手法を適用することで、異なる分野の大規模モデルを効率的に圧縮し、エッジデバイスなどのリソース制約のある環境での展開を容易にすることが可能です。そのため、本手法は様々な分野における大規模モデルの最適化に役立つ可能性があります。