パラメータ効率の高い離散フーリエ変換を用いたファインチューニング

מושגי ליבה

大規模基盤モデルのファインチューニングにおいて、離散フーリエ変換を用いることで、パラメータ数を大幅に削減しつつ、同等以上の性能を達成できる。

תקציר

本論文は、大規模基盤モデルのファインチューニングにおいて、パラメータ数を大幅に削減する手法を提案している。具体的には、LoRAなどの従来手法とは異なり、重み変化を空間領域の行列として扱い、その周波数領域の係数のみを学習する手法「FourierFT」を提案している。
FourierFTでは、まず共通の周波数エントリーを乱数で選択し、各層でその位置の係数のみを学習する。これにより、LoRAに比べて大幅にパラメータ数を削減できる。
実験では、自然言語理解、自然言語生成、命令チューニング、画像分類などの様々なタスクで、LoRAと同等以上の性能を、LoRAの6~9%のパラメータ数で達成できることを示している。特に、大規模モデルほど、FourierFTの優位性が顕著になることが分かった。
また、周波数バイアスの影響や、パラメータ数とパフォーマンスの関係、フーリエ基底の表現力についても分析を行っている。

סטטיסטיקה

LoRAは、RoBERTa Baseで0.3Mのパラメータ数に対し、FourierFTは0.024Mのパラメータ数で同等の性能を達成した。
LoRAは、RoBERTa Largeで0.8Mのパラメータ数に対し、FourierFTは0.048Mのパラメータ数で同等の性能を達成した。
LLaMA2-7Bモデルのファインチューニングでは、LoRAが33.5Mのパラメータ数に対し、FourierFTは0.064Mのパラメータ数で優れた性能を示した。
ViT Baseモデルのファインチューニングでは、LoRAが581Kのパラメータ数に対し、FourierFTは72Kのパラメータ数で同等の性能を達成した。

ציטוטים

"FourierFT can always achieve comparable or even better performance than LoRA, with about 6.0%, 9.4%, 0.2% and 9.2% of LoRA's trainable parameters for these 4 tasks, respectively."
"Notably, when we increase the parameter count of FourierFT to 41.1% (ViT Base) and 30.6% (ViT Large) of LoRA's, it can outperform LoRA by 3.5% and 2.0% respectively."

תובנות מפתח מזוקקות מ:

Parameter-Efficient Fine-Tuning with Discrete Fourier Transform

by Ziqi Gao,Qic... ב- arxiv.org 05-07-2024

https://arxiv.org/pdf/2405.03003.pdf

שאלות מעמיקות

大規模基盤モデルのファインチューニングにおいて、FourierFTの性能優位性はどのような応用分野でさらに発揮されるか?

FourierFTは、低ランク適応（LoRA）スタイルのベースラインと比較して、極めて少ないトレーニング可能なパラメーターで優れた性能を発揮します。この性質は、大規模基盤モデルのファインチューニングにおいて、特にリソースやメモリの制約が厳しい環境で重要です。具体的には、自然言語処理（NLP）やコンピュータビジョン（CV）などの領域で、FourierFTは大きな影響を持つ可能性があります。例えば、NLPタスクでは、自然言語理解や生成、指示のチューニングなどでFourierFTの性能が顕著に向上し、少ないパラメーターで優れた結果をもたらすことが期待されます。また、CVタスクでは、画像分類などでFourierFTが他の手法を凌駕し、効率的なファインチューニングを実現する可能性があります。