言語モデルにおける文脈と事前知識の相互作用

言語モデルは質問に答えるために、事前学習中に獲得した知識と提示された文脈を統合する必要がある。モデルはこの統合を予測可能な方法で行い、より馴染みのある実体に関する質問では事前知識に、文脈に影響されやすい質問では文脈に依存する傾向がある。