本研究では、ファウンデーションモデルの既存の知識を保持しつつ、新しい知識を効率的に獲得する手法を提案している。
具体的には以下の3つのステップを行う:
モデルの中でも特に更新が必要な層を特定する。分析の結果、MLPブロックの第1層が重要であることが分かった。
新しいタスクに関連する重要なパラメータを選択的に更新する。パラメータの重要度をグラジエントに基づいて評価し、必要最小限の部分のみを更新する。
選択したパラメータのみを更新し、他のパラメータは固定したままで学習を行う。これにより、既存の知識を大幅に損なうことなく、新しい知識を獲得できる。
提案手法を6つのデータセットで評価した結果、既存の知識を保持しつつ新しい知識を効率的に獲得できることが示された。特に、既存の知識の精度を0.94%しか低下させずに、新しい知識の精度を最大7%改善できた。
Til et andet sprog
fra kildeindhold
arxiv.org
Vigtigste indsigter udtrukket fra
by Wenxuan Zhan... kl. arxiv.org 04-22-2024
https://arxiv.org/pdf/2308.12462.pdfDybere Forespørgsler