Belangrijkste concepten
本論文では、数学関連のコードと自然言語による推論ステップを組み合わせた大規模データセット「MathCode-Pile」を構築し、大規模言語モデル(LLM)の数学的推論能力を大幅に向上させる、継続的な事前学習手法を提案しています。
Samenvatting
MathCoder2: モデル翻訳された数学コードを用いた継続的な事前学習による数学的推論能力の向上
著者: Zimu Lu, Aojun Zhou, Houxing Ren, Ke Wang, Weikang Shi, Junting Pan, Mingjie Zhan, Hongsheng Li
機関: 香港中文大学マルチメディアラボ(MMLab)
発表学会: arXiv (2024)
本研究は、大規模言語モデル(LLM)の数学的推論能力を向上させることを目的としています。従来の数学的事前学習では、数学関連のパッケージを利用したコードが含まれることが多かったものの、これらのコードは数学的推論に直接焦点を当てているわけではなく、自然言語による説明や文脈が不足しているため、モデルの理解を深めるには不十分でした。