大規模言語モデルの効率的なファインチューニング

Logg Inn

innsikt - 大規模言語モデルの効率的なファインチューニング

BAdam は、ブロック座標最適化フレームワークにAdamを組み込んだ最適化手法であり、大規模言語モデルのメモリ効率の高い全パラメータファインチューニングを可能にする。

SHEDは、Shapley値を利用して大規模データセットから高品質なデータサブセットを自動的に選別することで、大規模言語モデルのファインチューニングを効率化する。

LLaMA-Adapter は、LLaMA 7B モデルを効率的にファインチューニングし、高品質な指示応答を生成することができる。ゼロ初期化アテンションメカニズムを提案し、学習の安定性と最終性能を向上させている。

PEDROは、入力プロンプトに応じて調整ベクトルを生成し、大規模言語モデルの内部表現を修正することで、パラメータ効率的なファインチューニングを実現する。

大規模言語モデル（LLM）のファインチューニングを効率化するため、タスク特化的に学習させた小規模モデルの知識を、動的なログ確率融合を用いて大規模モデルに転移させる手法を提案する。

Produkter | Ressurser

Innsikter