本論文は、ロマニア語による数学的推論ベンチマーク「RoMath」を提案している。RoMathは以下の3つのデータセットから構成される:
RoMath-Baccalaureate: ロマニアの高校卒業試験(バカロレア)の問題5,777問を収録。計算問題と証明問題が含まれる。
RoMath-Competitions: 数学コンペティションの問題1,133問を収録。難易度が高く、洞察力と問題解決力が必要とされる。
RoMath-Synthetic: 70,000問の人工生成問題を収録。主に代数問題で構成される。
RoMathの目的は、英語以外の言語における数学モデルの開発を促進し、多言語AIの発展に寄与することである。ロマニア語は低資源言語であり、特有の言語的特徴を持つため、英語中心のモデルの限界を示し、多様な言語リソースの必要性を強調する。
論文では、RoMathに対する複数のオープンソースの言語モデルのベンチマークを行い、単純な翻訳では性能が大幅に低下することを示した。また、解答の正解判定に使用するジャッジモデルの性能評価も行った。
To Another Language
from source content
arxiv.org
Principais Insights Extraídos De
by Adrian Cosma... às arxiv.org 09-18-2024
https://arxiv.org/pdf/2409.11074.pdfPerguntas Mais Profundas