Core Concepts
純粋な微調整は、モデル編集において有効であることを示唆する。
Abstract
Abstract:
微調整は特化された方法に比べて性能が低いが、単純であり、標準的なトレーニング方法の進歩を活用できる。
純粋な微調整はモデル編集において有効なアプローチであることを示す実験結果を提供。
Introduction:
モデル編集は望ましくない知識を修正するための有望なアプローチであり、効果、一般化、局所性の間にトレードオフがある。
従来の微調整手法は局所性において不十分であったが、本研究では条件付き尤度の最適化とデータ拡張を提案し、他のエディターと比較して優れた結果を示す。
Task:
大量編集タスクでは事前学習言語モデルを要求された編集内容と追加情報で微調整し、効果、一般化、局所性の評価指標を使用。
Method:
純粋な微調整に基づく手法は競争力のある編集スコアを達成し、条件付き尤度の最適化と追加事実のデータ拡張が重要であることを示す。
Related Work:
他のモデル編集手法と比較して純粋な微調整手法がシンプルであり、パラメータ効率的微調整(PEFT)技術を活用することが可能であることが強調されている。
Experiments:
大量編集および単一編集タスクにおいて提案手法が従来手法よりも優れた結果を示し、一般的能力保持や生成メトリクス向上への取り組みが今後必要であることが明らかにされている。
Stats
微調整は特化された方法に比べて性能が低い
提案手法では条件付き尤度の最適化と追加事実のデータ拡張が重要