言語モデルにおける大規模な忘却の理解 - 暗黙的推論を通して

言語モデルの微調整(命令チューニングや人間のフィードバックからの強化学習など)は、微調整データ分布外のタスクに対する能力を犠牲にする可能性がある。我々は、言語モデルが暗黙的にプロンプトのタスクを推論しており、微調整がこの推論を微調整データ分布のタスクに偏らせることを仮説する。この仮説に基づき、コンジュゲートプロンプティングを提案し、合成設定でプリトレーニング時の能力を回復できることを示す。