大規模言語モデルは限られたデータから複雑な推論タスクを解くことができるのは、生成プロセスにテンプレート-コンテンツ構造が存在するためである。
大規模言語モデルには、従来の認知科学の文献から知られる古典的な演繹的推論問題を解決する限定的な能力しかない。モデルの性能は問題の提示形式や内容によって予期せぬ形で変化し、人間の推論パターンとは一致しない。