モデル翻訳された数学コードを用いた継続的な事前学習による数学的推論能力の向上：MathCoder2

本論文では、数学関連のコードと自然言語による推論ステップを組み合わせた大規模データセット「MathCode-Pile」を構築し、大規模言語モデル（LLM）の数学的推論能力を大幅に向上させる、継続的な事前学習手法を提案しています。