언어 모델은 사전 지식과 주어진 문맥을 통합하여 질문에 답변하는데, 이 통합 방식은 질문과 문맥에 따라 예측 가능한 패턴을 보인다. 모델은 훈련 데이터에서 더 많이 노출된 개체(사람, 장소 등)에 대해서는 사전 지식에 더 의존하고, 특정 문맥에 의해 더 쉽게 설득될 수 있다.
