知識エントロピーの減少が言語モデルの新しい知識獲得を阻害する

言語モデルの知識統合の範囲を示す知識エントロピーが、事前学習の進行に伴って減少し、新しい知識の獲得と既存知識の保持を阻害する。