テンソルタッカーフォーマットにおける因子分解層の形状認識トレーニング

Grunnleggende konsepter

本稿では、ニューラルネットワークのトレーニングと推論におけるメモリフットプリントと計算コストを削減するため、テンソルタッカーフォーマットにおける因子分解層の形状認識トレーニングという新しいアプローチを提案する。

Sammendrag

本稿では、ディープラーニングモデルのメモリフットプリントと計算コストを削減するための新しいアプローチである、テンソルタッカーフォーマットにおける因子分解層の形状認識トレーニングについて述べられています。
背景
最新のディープラーニングアーキテクチャは、その優れた性能の一方で、推論とトレーニングに膨大なメモリと計算コストを必要とします。この課題に対処するために、重みのスパース化や量子化など、モデルのサイズと計算の複雑さを軽減するための様々な技術が開発されてきました。しかし、スパース化による枝刈りは、密行列向けに設計されたGPUハードウェアを活用することが難しく、量子化を用いる場合はモデルの性能に関する誤差推定が困難です。さらに、これらの手法は推論に必要なリソースを削減することはできますが、性能に影響を与えることなくトレーニング中のメモリ削減を実現することは困難です。
因子分解層
スパース化や量子化と並んで、層の因子分解も広く用いられているモデル圧縮手法です。層の重みを様々な行列やテンソルの因子分解を用いて表現することで、モデルの性能と頑健性を維持しながら、メモリを大幅に削減することができます。最近の多くの研究で、過剰にパラメータ化されたネットワークの層の重みは低ランクになる傾向があり、小さな特異値を削除することで、モデルのサイズを大幅に削減しながら、性能を向上させることができる可能性があることが、理論的にも実験的にも示唆されています。低ランク因子分解の大きな利点の一つは、低パラメータの因子分解モデルをトレーニング全体およびファインチューニングの段階全体で使用できることです。
課題
層の因子を直接トレーニングする方法はディープラーニングで広く用いられていますが、この方法には2つの大きな欠点があります。

因子分解のランクrを事前に選択する必要があり、圧縮モデルの性能はランクに大きく依存する可能性があります。
トレーニングフローは初期化の選択に非常に敏感であり、その結果、損失の振動が大きくなり、収束が遅くなり、性能が最適ではなくなり、ランクを下げる前にフルモデルをトレーニングするウォームアップの段階が必要になる場合があります。

提案手法
本稿では、これらの課題を克服するために、基礎となるリーマン構造を利用してタッカーフォーマットで因子分解されたテンソル層をトレーニングする、ランク適応型の形状認識トレーニングアルゴリズムを導入しています。
動的低ランク近似
ランクρ = (r1, ..., rd)の場合、集合Mρ = {W : rank(Mati(W)) = ri, i = 1, ..., d}は、任意の点W = C ×di=1 Ui ∈ Mρにおいて接空間を持つ多様体です。低ランクのタッカー因子Cと{Ui}iのみを用いてMρ内の層の重みを計算する戦略を設計するために、接空間に射影された連続時間勾配フローとしてトレーニング問題を定式化します。
再パラメータ化
動的低ランク近似フレームワークは、タッカーフォーマットの層の勾配フローを提供します。しかし、これらの発展方程式をネットワークのトレーニングに直接使用すると、タッカーテンソルの多様体の曲率が高いため、学習率が非常に小さくなってしまいます。これを克服するために、再パラメータ化を導入し、再パラメータ化された因子に対してロバストなダイナミクスを定式化します。
ランク適応トレーニング戦略
得られた勾配系を数値的に積分し、基底の拡大ステップと組み合わせることで、タッカーフォーマットのネットワークに対して形状認識型のランク適応トレーニング戦略を提案します。
計算コストの削減
提案されたアプローチは、d次テンソルに対してネットワークと勾配テープをd+1回評価する必要があるため、計算コストが大幅に増加します。しかし、拡張基底の計算を大幅に簡略化できることにより、計算コストを大幅に削減することができます。
アルゴリズム
上記の戦略と計算コスト削減を組み合わせることで、タッカーフォーマットのテンソルに対する効率的なランク適応型の形状認識トレーニング手法であるアルゴリズム1が得られます。
理論的解析
提案手法の以下の3つの主要な理論的特性を示します。

損失の降下
期待値における定常点への収束
フルモデルへの近似を示すロバストな境界
実験
提案手法の性能を、フルモデル、標準的な層の因子分解、モデルの枝刈りのベースラインと比較して評価するため、一連の実験を行いました。
圧縮性能
CIFAR10とtiny-imagenetを用いて、提案手法の圧縮性能を評価しました。その結果、提案手法は、競合する因子分解ベースラインよりも高い精度で高い圧縮率を達成し、重みの初期化間のばらつきも小さいことがわかりました。
最適化のロバスト性
分解の因子に対する標準的な同時勾配降下と比較して、提案手法の利点をさらに明確にするために、提案手法とタッカー分解およびCP分解を用いた標準的なトレーニングを用いた場合の、MNISTにおけるLeNet5の精度履歴を示します。その結果、提案手法を用いて低ランク勾配フローを積分すると、ネットワークのトレーニングプロセスにおいて、より高速でロバストな収束率が得られることがわかりました。
計算性能
タッカー分解における畳み込み層の推論とトレーニングにおける計算性能は、現在のテンソルのランクに依存します。VGGとAlexNetの推論時間とメモリフットプリントを、提案手法で使用されているタッカー因子分解で評価し、因子分解されていないベースラインモデルと比較しました。その結果、現実的な圧縮率の場合、提案手法の計算フットプリントは、対応するベースラインモデルよりも大幅に小さいことがわかりました。
LoRA風低ランクアダプターを用いたファインチューニング
提案手法のもう一つの応用として、低ランクアダプターを用いた事前トレーニング済みモデルのファインチューニングを紹介します。提案手法は、モデルの圧縮と適応を完全に区別しないため、アプローチは同じです。この2つの設定を示すために、提案手法をテストした2つの異なる設定を紹介します。1つ目は、GLUEベンチマークにおけるDeberta V3のファインチューニングです。2つ目は、Dreamboothを用いたStable Diffusionのファインチューニングです。
考察
本稿では、タッカーテンソル因子分解多様体の形状を活用して、圧縮されたタッカーフォーマットのニューラルネットワークのためのロバストで効率的なトレーニングアルゴリズムを構築しました。提案手法は、フルモデルへの近似誤差限界、損失の降下と期待値における定常点への収束の保証という理論的裏付けを持っています。様々なベンチマークとモデルに対する圧縮率と精度の比率で示されているように、この手法は、交互または同時勾配降下を用いた標準的な因子分解手法よりも優れています。この手法は、ハイパーパラメータをτという1つのパラメータに大幅に削減します。このパラメータは、ネットワーク全体のトレーニングダイナミクスにおける層の重要性に応じて、層ごとの圧縮率として明確に解釈することができます。
制限事項
提案手法は、参照ネットワーク内に性能の高い低ランクのタッカーサブネットが存在することを前提としています。経験的にこれが観察されていますが、完全結合線形層の場合と同様に、この仮説を裏付ける理論的証拠を提供するためには、さらなる調査が必要です。

Statistikk

VGG16ベンチマークにおいて、提案手法は90%を超える圧縮率でベースラインの精度を維持することができ、τ = 0.03（すなわち95.3%の圧縮率）の場合、平均でベースラインを上回りました。
AlexNetはVGG16のパラメータ数の16.8%です。そのため、圧縮を達成することは当然ながらより困難になります。それにもかかわらず、提案手法はベースラインを上回り、フルネットワークの性能に匹敵します。
ResNet18でも同様の挙動が観察されました。
提案された評価では、提案手法は、スパース性に基づく枝刈り（公平な比較のためにウォームアップなしで実装）、テンソルトレイン（TT）とタッカー因子分解、タッカー分解のためのリーマン勾配降下（RGD）、行列値DLRTを含む、すべての代替案と同等以上の性能を発揮しました。これは、各テンソルモードに沿った圧縮を個別に行うことができるタッカーフォーマットの柔軟性が高いためです。
圧縮率（c.r.）は1−c/fとして計算されます。ここで、cはトレーニング後の圧縮モデルにおける畳み込みパラメータの数、fはフルモデルの畳み込みパラメータの数です。これはトレーニング後の圧縮率ですが、因子分解に基づく手法では、トレーニングプロセス全体を通して同様の圧縮率が得られることを強調しておきます。
CP分解は多様体構造を持たないため、動的低ランクトレーニングには適しておらず、CP分解のDLRTバージョンは示されていません。
tiny-imagenetベンチマークでも同様の結果が得られました。

Viktige innsikter hentet fra

Geometry-aware training of factorized layers in tensor Tucker format

by Eman... klokken arxiv.org 10-15-2024

https://arxiv.org/pdf/2305.19059.pdf

Dypere Spørsmål

提案手法は、他のテンソル分解形式、例えばテンソルトレインや階層型タッカー分解にどのように拡張できるでしょうか？

TDLRT (Tensor Dynamical Low-Rank Training)は、Tucker分解に inherent な幾何学的構造を利用して、効率的な学習を実現しています。具体的には、Tucker分解の各モードにおける特異値分解に基づいて、勾配を低ランク多様体に射影することで、安定した学習を実現しています。
他のテンソル分解形式、例えばテンソルトレインや階層型タッカー分解にTDLRTを拡張するには、それぞれの分解形式に適した勾配射影の方法を開発する必要があります。

テンソルトレイン: テンソルトレイン分解は、高次元テンソルを低次元テンソルの積に分解するもので、各テンソルの低ランク性を段階的に利用することで、Tucker分解よりもさらに圧縮率を高めることができます。TDLRTをテンソルトレインに拡張するには、各テンソルの低ランク性を保持しながら勾配を計算し、射影する必要があります。これは、テンソルトレインの構造を考慮した最適化アルゴリズムを設計することで実現できます。例えば、Alternating Least Squares (ALS) や Density Matrix Renormalization Group (DMRG) などのアルゴリズムを応用できます。

階層型タッカー分解: 階層型タッカー分解は、Tucker分解を階層的に適用することで、テンソルの階層構造を表現する分解形式です。TDLRTを階層型タッカー分解に拡張するには、階層構造を考慮した勾配射影の方法を開発する必要があります。これは、各階層におけるTucker分解に対してTDLRTを適用し、その結果を統合することで実現できます。
これらの拡張は、計算コストの増加や実装の複雑化といった課題も伴いますが、より高い圧縮率と表現力を持つモデルの学習を可能にするため、重要な研究方向と言えます。

提案手法の性能は、異なるハードウェアプラットフォーム、例えばモバイルデバイスや組み込みシステムでどのように変化するでしょうか？

TDLRTは、低ランクテンソル分解を用いることで、モデルのサイズと計算量を削減できます。これにより、計算資源の限られたモバイルデバイスや組み込みシステムにおいても、高性能なディープラーニングモデルの実行が可能になります。
ただし、ハードウェアプラットフォームの違いによって、TDLRTの性能は変化する可能性があります。

処理能力: モバイルデバイスや組み込みシステムは、GPUを搭載したサーバーマシンに比べて処理能力が限られています。そのため、TDLRTの学習や推論に時間がかかる可能性があります。これを改善するには、モデルのサイズや計算量をさらに削減する必要があります。例えば、量子化やプルーニングなどの技術を併用することで、性能を向上させることができます。

メモリ容量: モバイルデバイスや組み込みシステムは、メモリ容量も限られています。そのため、大規模なモデルを扱う場合、メモリ不足が発生する可能性があります。これを改善するには、モデルのメモリフットプリントを削減する必要があります。例えば、モデルの軽量化やメモリ効率の良いデータ構造の採用などが考えられます。

ソフトウェア環境: モバイルデバイスや組み込みシステムで利用可能なディープラーニングライブラリは、サーバーマシンに比べて機能が限られている場合があります。そのため、TDLRTを実行するために必要な機能が不足している可能性があります。これを解決するには、TDLRTを対応するライブラリに移植する必要があります。
これらの課題を克服することで、TDLRTはモバイルデバイスや組み込みシステムにおいても、効率的なディープラーニングを実現するための有効な手法となります。

提案手法は、自然言語処理やコンピュータビジョンなどの他のディープラーニングアプリケーションにどのように適用できるでしょうか？

TDLRTは、畳み込みニューラルネットワークの畳み込みカーネルに適用されていますが、自然言語処理やコンピュータビジョンなどの他のディープラーニングアプリケーションにも応用可能です。
自然言語処理:

Attention機構: Transformerモデルの中核をなすAttention機構は、単語間の関係性を表現する行列を学習します。この行列は巨大になりがちですが、TDLRTを用いることで低ランクテンソルに分解し、メモリ使用量と計算量を削減できます。
埋め込み行列: 単語や文をベクトル表現に変換する埋め込み行列も、TDLRTの適用対象となります。大規模な語彙を用いる場合、埋め込み行列は巨大になりますが、TDLRTを用いることで効率的に表現できます。
コンピュータビジョン:

画像認識: 画像認識モデルでは、畳み込み層だけでなく、全結合層にもTDLRTを適用できます。全結合層の重み行列を低ランクテンソルに分解することで、モデルの軽量化と高速化を実現できます。
物体検出: 物体検出モデルの多くは、特徴マップから物体の位置とクラスを予測する際に、全結合層を用います。TDLRTを適用することで、この部分の計算コストを削減できます。
画像生成: GAN (Generative Adversarial Networks) などの画像生成モデルでは、生成器と識別器の両方にTDLRTを適用できます。特に、高解像度の画像を生成する場合、モデルのパラメータ数が膨大になりがちですが、TDLRTを用いることでメモリ使用量を抑えながら学習できます。
これらの応用例以外にも、TDLRTは様々なディープラーニングアプリケーションにおいて、モデルの圧縮と高速化に貢献すると期待されます。