本論文では、数学関連のコードと自然言語による推論ステップを組み合わせた大規模データセット「MathCode-Pile」を構築し、大規模言語モデル(LLM)の数学的推論能力を大幅に向上させる、継続的な事前学習手法を提案しています。