核心概念
畳み込みモデルのパラメータを効率的に調整する新しい手法を提案し、高い精度と少ないパラメータ数で目標タスクに適応させることが可能です。
摘要
多くの大規模モデルは膨大なデータセットで事前トレーニングされており、特定のタスクに対して全体のパラメータを微調整することは計算上困難であるため、研究者はパラメータ効率的な手法を開発しています。本研究では、畳み込みカーネルをフィルター原子に分解し、そのフィルター原子だけを微調整することで、タスク固有表現を抽出します。さらに、フィルター原子を再帰的に分解することで過完備なフィルター空間を生成し、必要に応じてチューニング用のパラメータ空間を拡張します。このアプローチは従来のチューニング手法よりも高い精度を実現しました。
統計資料
パラメータ数: 0.45M vs 17.4M (LoRA)
精度向上: 約20%
フィルター原子数: 9個
引述
"我々のアプローチは、畳み込み層内部の空間情報を保持しながらフィルター原子だけを微調整することで効果的なチューニングが可能です。"
"過完備なフィルター空間は性能向上に貢献しました。"
"他のチューニング手法よりも少ないパラメータ数で最高精度を達成しました。"