本研究は、大規模言語モデルの事実性デコーディング手法が知識編集性能に及ぼす影響を評価しています。
主な知見は以下の通りです:
事実性デコーディング手法は、大規模言語モデルの事実の正確性を向上させますが、同時に知識の柔軟性を大幅に低下させます。例えば、llama2-7bモデルでは、MeLLo編集手法を用いた場合、正答率が36.8%から6.9%まで81.3%も低下しています。
事実性デコーディングによる知識の柔軟性の低下は、モデルサイズが大きくなるほど顕著になります。llama2-13bモデルでは、DoLaデコーディングの正答率が32.7%と大幅に低下しています。
事実性の向上と知識の柔軟性のバランスが重要であり、現在の事実性デコーディング手法はこの点を十分に考慮していないことが示唆されています。
したがって、大規模言語モデルの事実性向上の研究には、知識の柔軟性も同時に考慮する必要があると提言しています。
他の言語に翻訳
原文コンテンツから
arxiv.org
深掘り質問