大規模言語モデルは、人間にとって自明な単純な推論タスクでも十分な性能を発揮できていない。特に、文法的に指定された含意、証拠的副詞、単調性含意などの推論タイプで大きな課題を抱えている。さらに、前提詞トリガーや非事実述語による文脈への埋め込みによって、モデルの推論能力がさらに損なわれる。
現在の最先端の検索モデルは、推論レベルの言語理解能力を持っていない。本研究では、推論タスクを検索タスクに変換することで、検索モデルの推論能力を評価する。
LLMsの読解力は、パラメトリック知識と仮説的ステートメントに影響される。単純な肯定文や否定文については高精度だが、モーダルや条件文などの意味的により複雑な文脈では大きな誤りを犯す。
外部知識を組み込んだ言語理解のためのRDRパラダイムは、真の意味パターンを捉え、正確な予測を実現します。