RoMath는 로마니아어 수학 추론 능력을 평가하기 위한 포괄적인 벤치마크 모음이다.
신경망 인코더가 다양한 수학 연산(미분, 적분, 덧셈, 뺄셈, 곱셈, 나눗셈)을 잠재 공간에서 근사할 수 있는 정도를 탐구한다.
다단계 수학 추론 문제에서 중간 단계의 정확성보다는 최종 답안의 정확성을 우선시하는 결과 감독 가치 모델을 제안한다. 이를 통해 중간 단계의 정확성 레이블링에 드는 비용을 절감하면서도 우수한 성능을 달성할 수 있다.
수학적 추론 능력 향상을 위해서는 강력한 모델과 더불어 영향력 있는 데이터 선별이 필수적이다. 본 연구에서는 수학적 추론 작업에 적합한 데이터 선별 전략인 QaDS를 제안하고, 최적의 데이터 구성인 OpenMathMix를 구축하여 우수한 성능을 달성하였다.