본 논문에서는 수학적 추론 능력을 향상시키기 위해 대규모 언어 모델을 사전 훈련하는 새로운 방법을 제안하며, 이를 위해 수학 관련 웹 데이터, 수학 패키지를 사용하는 코드, 수학 교과서 및 합성 데이터를 포함하는 방대한 데이터 세트인 MathCode-Pile을 구축하고, 이를 활용하여 수학적 추론 단계와 이에 상응하는 Python 코드를 생성하여 모델을 훈련합니다.
