登入
洞見 - 大規模言語モデルの効率的なファインチューニング
メモリ効率の高い大規模言語モデルの全パラメータ学習手法 BAdam
BAdam は、ブロック座標最適化フレームワークにAdamを組み込んだ最適化手法であり、大規模言語モデルのメモリ効率の高い全パラメータファインチューニングを可能にする。
高品質なデータセットを自動的に選別するSHED: Shapley値ベースのデータセット精選フレームワーク
SHEDは、Shapley値を利用して大規模データセットから高品質なデータサブセットを自動的に選別することで、大規模言語モデルのファインチューニングを効率化する。
LLaMA-Adapter: 大規模言語モデルの効率的なファインチューニング手法
LLaMA-Adapter は、LLaMA 7B モデルを効率的にファインチューニングし、高品質な指示応答を生成することができる。ゼロ初期化アテンションメカニズムを提案し、学習の安定性と最終性能を向上させている。
大規模言語モデルの効率的なファインチューニングのためのPrompt依存表現修正手法PEDRO
PEDROは、入力プロンプトに応じて調整ベクトルを生成し、大規模言語モデルの内部表現を修正することで、パラメータ効率的なファインチューニングを実現する。
巨大なモデルの肩に乗り：動的ログ確率融合による、小規模モデルから大規模モデルへの効率的な知識転移
大規模言語モデル（LLM）のファインチューニングを効率化するため、タスク特化的に学習させた小規模モデルの知識を、動的なログ確率融合を用いて大規模モデルに転移させる手法を提案する。
