LLMsの数学推論におけるデータ能力境界の実証的研究

核心概念

大規模言語モデル（LLMs）の数学推論タスクにおける新たな能力を探求し、オープンソースLLMsの能力向上を目指す。

摘要

大規模言語モデル（LLMs）は数学推論タスクで新たな能力を示し、オープンソースLLMsの能力向上に注目が集まっています。本稿では、監督されたファインチューニング（SFT）を通じてオープンソースLLMsの数学推論能力を最適化し拡張するための一般的なデータ戦略を探求します。まず、理路増強の能力境界を特定し、それらの最適な経路セットを識別することで、データの潜在性を最大限に引き出すことに焦点を当てます。次に、異なるモデルの能力が対応する種類のデータの最小最適セットを組み合わせることで累積的に向上できることを裏付けます。我々のモデルはシリーズ基本モデルでSOTAパフォーマンスを達成し、構築コストが低いです。また、現在のLLMsは数値的な堅牢性に重大な問題がないことも明らかにします。

统计

GSM8K: 7473トレーニング質問, 1319テスト質問
MATH: 7500トレーニング質問, 5000テスト質問

引用

"Providing varied, deduplicated and correct reasoning paths can improve math reasoning ability in In-Domain and Similar-Domain data."
"Different abilities of the model can be cumulatively enhanced by mixing minimal optimal sets of corresponding types of data."

从中提取的关键见解

An Empirical Study of Data Ability Boundary in LLMs' Math Reasoning

by Zui Chen,Yez... 在 arxiv.org 03-05-2024

https://arxiv.org/pdf/2403.00799.pdf

更深入的查询

他方向へ拡張するためにどんな方法が考えられるか？

研究から得られた知見を元に、既存の能力をさらに拡張する方法として、重複しないデータセットであるTAL-SCQ5KとDG+M+Tの最小最適セットを組み合わせて利用することが考えられます。これは、GSM8KおよびMATHからすべてのデータを使用した後でも、対応するデータがない場合でもモデルの既存の能力を引き続き向上させることが可能です。この手法は実際に効果的であり、異なる種類の情報に対応した最小最適セットを結合することでモデルの能力を高めることが示されています。

GSM-HARDは本当に難しいものか？数値的堅牢性は今日のLLMsでは本当に問題ではないか？

GSM-HARDは実際に難しい問題集ではなく、その困難性は正確なアノテーションや数値処理上の課題から生じています。初期計算結果自体が回答として注釈付けされており、それ自体だけで評価された場合、精度率が増加します。また、アノテーションエラーも存在しました。このエラー修正後、「GSM-HARD」内部で精度率63.3%まで向上しました。数値的堅牢性に関しても現在のLLMsでは大きな問題点は見受けられません。

この研究から得られた知見は他分野でも応用可能か？

この研究から得られた知見や手法は他分野でも応用可能です。例えば、「MMOS」というデータ戦略や「Auto Problem Generator」などは数学推論タスク以外でも有益です。同様に、「Minimal Optimal Set」や「Mix of Minimal Optimal Sets」なども他領域で新規データ戦略開発や効率化プロジェクトへ活用可能です。「Numerical Robustness」という概念も広範囲で役立つ可能性があります。