Sign In
insight - 大規模言語モデルの効率的なファインチューニング
KD-LoRA: LoRAと知識蒸留を組み合わせた効率的なファインチューニング手法
KD-LoRAは、LoRAと知識蒸留を組み合わせることで、大規模言語モデルのファインチューニングにおけるパフォーマンスを維持しながら、計算コスト、メモリ使用量、推論時間を大幅に削減する手法である。
大規模言語モデルにおける直接選好最適化：データ効率性の観点からの考察
大規模言語モデル（LLM）の性能は、直接選好最適化（DPO）を用いたファインチューニングにおいて、使用する選好データの量と種類に大きく影響を受ける。
大規模言語モデルのファインチューニング中に反復的なプロンプトを内部化することで推論コストを削減するPromptIntern
PromptInternは、ファインチューニング中に反復的なプロンプト情報をモデルパラメータに内部化することで、大規模言語モデル（LLM）の推論コストとレイテンシを削減する新しいアプローチである。
巨大なモデルの肩に乗り：動的ログ確率融合による、小規模モデルから大規模モデルへの効率的な知識転移
大規模言語モデル（LLM）のファインチューニングを効率化するため、タスク特化的に学習させた小規模モデルの知識を、動的なログ確率融合を用いて大規模モデルに転移させる手法を提案する。
大規模言語モデルの効率的なファインチューニングのためのPrompt依存表現修正手法PEDRO
PEDROは、入力プロンプトに応じて調整ベクトルを生成し、大規模言語モデルの内部表現を修正することで、パラメータ効率的なファインチューニングを実現する。
LLaMA-Adapter: 大規模言語モデルの効率的なファインチューニング手法
LLaMA-Adapter は、LLaMA 7B モデルを効率的にファインチューニングし、高品質な指示応答を生成することができる。ゼロ初期化アテンションメカニズムを提案し、学習の安定性と最終性能を向上させている。
高品質なデータセットを自動的に選別するSHED: Shapley値ベースのデータセット精選フレームワーク
SHEDは、Shapley値を利用して大規模データセットから高品質なデータサブセットを自動的に選別することで、大規模言語モデルのファインチューニングを効率化する。
メモリ効率の高い大規模言語モデルの全パラメータ学習手法 BAdam
BAdam は、ブロック座標最適化フレームワークにAdamを組み込んだ最適化手法であり、大規模言語モデルのメモリ効率の高い全パラメータファインチューニングを可能にする。
Products
© 2024 by Linnk AI