メモリ使用量を抑えたスパースチューニング：SNELLの紹介

核心概念

大規模言語モデルのファインチューニングにおける課題であるメモリ使用量の増大に対し、本稿では、スパースチューニングと低ランク行列を用いた表現学習を組み合わせたSNELL (Sparse tuning with kerNElized LoRA) を提案する。SNELLは、従来のスパースチューニングの手法と比較して、メモリ使用量を大幅に削減しながらも、同等以上の性能を実現する。

要約

メモリ使用量を抑えたスパースチューニング：SNELLの紹介

大規模な事前学習済みモデルを、限られた学習データで特定のタスクに適応させる際に、ファインチューニングが広く用いられています。しかし、モデルのパラメータ全体をファインチューニングすることは、メモリ使用量が多く、過剰適合のリスクも高いため、大規模モデルでは非効率です。
これを解決するために、パラメータ効率の良いファインチューニング（PEFT）が注目されています。PEFTは、モデルパラメータの一部のみを調整することで、メモリ使用量と過剰適合のリスクを抑えつつ、高い性能を実現します。PEFTは、追加ベースの手法と再パラメータ化ベースの手法に大別されます。

追加ベースの手法は、事前学習済みのバックボーンにパラメータを追加して学習します。AdapterやPrompt-tuningなどが代表的な手法です。
再パラメータ化ベースの手法は、事前学習済みのバックボーンのパラメータを直接調整します。BitFit、Partial-k、LoRAなどが代表的な手法です。
スパースチューニングの課題
近年、PEFTにおいて、タスクに関連性の高い重みのみを調整するスパースチューニングが注目されています。スパースチューニングは、行列内の個々の重みに着目することで、より正確な調整を可能にし、高い性能と過剰適合リスクの軽減を実現します。
しかし、スパースチューニングは、高いメモリ使用量という課題を抱えています。スパースチューニングでは、事前学習済み重み行列の一部のみを更新しますが、実際には行列全体を学習可能なパラメータとしてオプティマイザに格納し、対応する勾配を計算する必要があります。さらに、調整可能な重みのインデックスを格納する必要があるため、メモリ使用量がさらに増加します。

本稿で提案するSNELLは、スパースチューニングとLoRAを組み合わせることで、低いメモリ使用量と高い性能を両立させる手法です。
メモリ使用量の削減
SNELLは、スパース化のために調整可能な行列を低ランクの学習可能な行列に分解することで、オプティマイザに格納するパラメータを減らし、メモリ使用量を削減します。
競合ベースのスパース化メカニズム
従来のスパース化手法では、調整可能な重みのインデックスを格納する必要がありましたが、SNELLは、競合ベースのパラメータスパース化メカニズムを採用することで、このインデックスの格納を不要にします。
このメカニズムは、神経科学におけるニューロン競合現象に着想を得ており、重みをその絶対値に基づいて競合させます。タスクに関連性の高い重みは、より大きな絶対値を持つように促され、ファインチューニングプロセス中に残ります。スパース比をハイパーパラメータとして設定し、調整可能な重みをその絶対値に基づいてエンドツーエンドで決定することで、調整可能な重みのインデックスを格納する必要がなくなります。
カーネル化LoRA
SNELLは、低ランク行列を用いつつ、高い性能を実現するために、カーネル化LoRAを採用しています。
LoRAでは、低ランク行列AとBをマージして、事前学習済み重み行列W0に適用します。
W = W0 + ∆W = W0 + BA⊤
しかし、∆Wはランクrの低ランク行列であるため、スパースチューニングの重み最適化の範囲が狭まり、性能が制限されます。
そこで、SNELLでは、低ランク行列を用いて高ランク行列を構築するために、DyN [45] の考え方を応用し、距離関数を一般的なカーネル関数に拡張して、カーネルの観点からLoRAを検討します。
カーネル関数κ(x, x')は、陰的特徴マップϕを用いて、内積ϕ(x)⊤ϕ(x')として表現できます。LoRAのマージプロセスは、学習可能なパラメータAとBの行に線形カーネル関数κl(·, ·)を適用していると見なすことができます。
∆Wij = κl(Ai,·, Bj,·) = ϕl(Bj,·)ϕl(Ai,·)⊤= Bj,·A⊤
i,·,
κl(·, ·)をより複雑な非線形カーネル関数に置き換えることで、高次元空間Rdにおける関係を近似し、rよりも高いランクの行列を得ることができます。SNELLのマージされた適応行列は、以下のように表すことができます。
∆W = (κ(Ai,·, Bj,·))m×n = [ϕ(B1,·)⊤, ..., ϕ(Bn,·)⊤]⊤[ϕ(A1,·)⊤, ..., ϕ(An,·)⊤] = BϕA⊤
ϕ .
実際には、Aϕ∈Rn×dとBϕ∈Rm×dを明示的に計算する必要はありません。∆Wは、カーネル関数κを用いて、AとBから直接導出できます。
SNELLは、カーネルの観点からLoRAを拡張することで、低ランクの学習可能な行列に基づいて高ランクの適応行列を構築し、低いメモリ使用量で強力なスパースチューニングを実現します。

抽出されたキーインサイト

Expanding Sparse Tuning for Low Memory Usage

by Shufan Shen,... 場所 arxiv.org 11-05-2024

https://arxiv.org/pdf/2411.01800.pdf

深掘り質問

SNELLは、自然言語処理タスクにおいても有効な手法なのでしょうか？

SNELLは画像認識タスクにおいて優れた性能を示していますが、自然言語処理タスクへの適用可能性については、本文からは断言できません。
SNELLは、画像認識モデルにおいて重要な要素である、重み行列の疎性を利用して、メモリ使用量を削減しながらも高精度なファインチューニングを実現しています。自然言語処理モデルにおいても、Transformerモデルなどでは巨大な重み行列が用いられるため、SNELLの適用が有効な可能性はあります。
しかし、自然言語処理タスク特有の課題も存在します。例えば、自然言語処理では、単語の順序情報が重要となるため、画像認識のように空間的な局所性を仮定した疎性化が適切でない場合があります。また、自然言語処理では、単語の埋め込み表現など、巨大な語彙サイズを扱う必要があり、SNELLの適用には更なる工夫が必要となる可能性があります。
SNELLを自然言語処理タスクに適用するためには、以下のような検討が必要となるでしょう。

自然言語処理タスクに適した疎性化の方法を検討する。
語彙サイズが巨大な場合の処理方法を検討する。
自然言語処理タスクにおける性能評価を行う。
これらの検討を経て、SNELLが自然言語処理タスクにおいても有効な手法となりうるかどうかを判断する必要があります。

スパースチューニングは、モデルの解釈可能性にどのような影響を与えるのでしょうか？

スパースチューニングは、モデルの解釈可能性を向上させる可能性があります。
深層学習モデルは一般的に解釈が難しいブラックボックスとして扱われますが、スパースチューニングによってモデルのパラメータが疎になることで、どの特徴量が重要視されているかを把握しやすくなる可能性があります。
具体的には、スパースチューニングによってゼロに近い値になった重みは、タスクに対して重要度が低いと解釈できます。逆に、大きな値を持つ重みに対応する特徴量は、タスクに対して大きな影響を与えていると解釈できます。
SNELLでは、競合ベースのスパース化メカニズムによって、タスクに関連性の高い重みが大きな値を持つように学習されます。そのため、SNELLによって学習されたモデルは、どの重みが重要であるかが明確化され、解釈可能性の向上が期待できます。
ただし、スパースチューニングによって解釈可能性が向上するかどうかは、タスクやデータセット、モデルの構造などに依存する点に注意が必要です。

SNELLは、量子コンピューティングなどの新しいコンピューティングパラダイムにどのように適応できるのでしょうか？

SNELLは、量子コンピューティングなどの新しいコンピューティングパラダイムにも適応できる可能性があります。
量子コンピューティングは、量子力学の原理を利用して計算を行う新しいパラダイムであり、従来のコンピュータでは不可能であった計算を高速に実行できる可能性を秘めています。
SNELLは、低ランク行列分解と競合ベースのスパース化メカニズムを用いることで、メモリ使用量を削減しながらも高精度なモデルを実現しています。これらの技術は、量子コンピュータ上での計算にも適応できる可能性があります。
例えば、低ランク行列分解は、量子コンピュータ上で効率的に実行できるアルゴリズムが開発されています。また、競合ベースのスパース化メカニズムは、量子アニーリングなどの量子計算技術を用いて実装できる可能性があります。
SNELLを量子コンピューティングに適応するためには、以下のような課題を解決する必要があります。

量子コンピュータ上で効率的に実行できるアルゴリズムを開発する。
量子コンピュータの制約を考慮したモデル設計を行う。
これらの課題を解決することで、SNELLを量子コンピューティングなどの新しいコンピューティングパラダイムにも適応し、更なる性能向上や応用範囲の拡大が期待できます。