大規模言語モデルは規則を学習できる

大規模言語モデルは、少数の例と中間ステップを与えられると、様々な推論タスクで優れた性能を発揮する。しかし、暗黙の知識に依存する手法では、その知識が間違っていたり課題と一致しない場合、誤った答えを生成してしまうことがある。この問題に取り組むため、我々は仮説から理論(Hypotheses-to-Theories: HtT)と呼ぶフレームワークを提案する。HtTは、誘導段階と演繹段階の2つのステージから成る。誘導段階では、言語モデルに訓練例に対してルールを生成・検証させ、十分に正しいと確認されたルールを集めてルールライブラリを構築する。演繹段階では、言語モデルにこのルールライブラリを活用して推論を行わせることで、誤った推論を減らすことができる。数値推論と関係推論の問題で実験を行った結果、HtTは既存の手法に対して11-27%の精度向上を示した。また、学習したルールは異なるモデルや同じ問題の別の形式にも転用できることがわかった。