パラメータ効率的なファインチューニング

サインイン

インサイト - パラメータ効率的なファインチューニング

大規模言語モデルのファインチューニングにおいて、従来の手法に匹敵する性能を維持しながら、メモリ消費と学習時間を大幅に削減できるパラメータ効率的なファインチューニング手法が注目されている。

大規模言語モデルのファインチューニングにおいて、従来のLoRAよりもさらにパラメータ数を削減する手法VB-LoRAを提案する。VB-LoRAは、モデルパラメータを共有ベクトルバンクから構成することで、LoRAの1%以下のパラメータ数で同等以上の性能を実現する。

パラメータ効率的なファインチューニング手法HUTは、オリジナルのパラメータとの強い相関を維持しつつ、計算量を大幅に削減できる。

パラメータ調整を現在の層の特徴に適用するだけでなく、次の層のパラメータにも伝播させることで、より効率的で汎用的なファインチューニングを実現できる。

パラメータ効率的なファインチューニング(PEFT)手法は、計算コストとメモリ使用量を大幅に削減しながら、性能を維持することができる。

BERTのファインチューニングにおいて、LayerNormが最も重要な構成要素であり、LayerNormのみをファインチューニングすることで、パラメータ数を大幅に削減しつつ、ほぼ同等の性能を達成できることを示した。

会社概要

プロダクト

リソース