본 연구는 수학 문제 해결 능력을 향상시키기 위해 다양한 데이터 증강 기법을 제안하고 평가한다. 특히 문맥 학습 기반 데이터 증강 방법을 통해 기존 데이터를 확장하여 모델의 성능을 개선한다.
대규모 언어 모델(LLM)의 수학 문제 해결 능력을 향상시키기 위해 다양한 수준의 수학 문제로 구성된 MathQuest 데이터셋을 소개하고, 이를 활용하여 LLaMA-2, WizardMath, MAmmoTH 모델을 fine-tuning하여 성능을 평가한다.
대규모 언어 모델의 수학적 추론 능력을 향상시키기 위해 몬테카를로 트리 탐색 프레임워크를 활용하여 자동으로 해결 과정을 생성하고 평가할 수 있는 방법을 제안한다.
본 논문에서는 스키마 기반 교육(SBI)과 검색 증강 생성(RAG)을 결합한 SBI-RAG 프레임워크를 제안하여, 대규모 언어 모델(LLM)을 활용한 수학 문제 해결 능력 향상을 목표로 합니다. 특히, GSM8K 데이터셋을 이용하여 SBI-RAG 프레임워크가 기존 LLM보다 뛰어난 추론 능력과 단계별 문제 해결 과정을 제시함을 보여줍니다.