大規模言語モデルは事実知識の再現性において大きな課題を抱えており、モデルサイズの拡大や事前学習のみのモデルが指示学習済みモデルよりも優れた性能を示すことが明らかになった。また、モデルの既知の知識と矛盾する例示が知識再現性を大きく低下させることが示された。