知識編集下におけるマルチホップ事実想起のためのLocate-then-edit手法

大規模言語モデル(LLM)の知識編集において、従来のLocate-then-edit手法はシングルホップの事実想起タスクには有効だが、マルチホップの事実想起タスクにおいては編集された知識を反映できないという課題がある。本論文では、LLMがマルチホップタスクにおいて、深いMLP層から暗黙的な主語知識を取得する傾向があることを発見し、この特性に対応するために、浅い層と深い層の両方を編集する新しいLocate-then-edit手法であるIFMETを提案する。