本研究は、大規模言語モデル(LLM)の論理的推論能力を体系的に評価し、その能力を向上させるための新しいアプローチであるLogicAskerを提案する。
限られたビット予算の中で、受信者の世界の状態に関する不確実性を最大限減らすことを目的とした、論理的推論タスクのための意味論的通信フレームワーク。
大規模言語モデルは、条件文やモーダル演算子を含む論理的推論パターンを正しく認識することが困難である。
大規模言語モデルの論理的推論能力を包括的に評価し、その長所と短所を明らかにする。
LLMsを用いて逆向き推論を行う際の課題である思考パターンの逆転と関連情報の除去を解決するため、仮説検証法とノイズ除去を組み合わせた新しい枠組みCauseJudgerを提案する。
大規模言語モデルを用いた論理的推論能力の向上
大規模言語モデルは論理的推論タスクにおいて課題を抱えているが、その主な原因は論理的誤謬の理解が不足していることにある。本研究では、論理的誤謬の理解を評価・向上させるための具体的なタスクを提案し、それに基づいたデータセットを構築することで、大規模言語モデルの論理的推論能力を大幅に向上させることができる。