Temel Kavramlar
KGQA datasets need to support commonsense reasoning and long-tail knowledge for accurate answers.
Özet
知識グラフの質問応答(KGQA)は、事実に基づいた回答を提供するために、常識的な推論とロングテールの知識を必要とする新しいKGQAデータセットであるCR-LT-KGQAが導入されました。このデータセットは、既存のKGQA方法が対応していない難解なクエリに対処し、大規模言語モデル(LLMs)が幻想を抱くことを示す高い幻想率を示しています。これにより、将来のKGQA研究が新しいLLM時代における難解なクエリに正確に回答する方法を設計するための道筋がつけられます。
İstatistikler
CR-LT-KGQAデータセットは350のクエリから成り、2つのサブセットで構成されています。
0-shot CoTでは元のクエリで0.7の精度を達成しましたが、CR-LT設定では0.32まで低下しました。
FaCTScoreはCR-LT設定でも低く、0-shot CoTでは0.54です。
論理スコアは長尾設定でも元の設定と同様です。
Alıntılar
"Existing KGQA datasets focus on popular entities that LLMs can answer using their internal knowledge without hallucinating."
"Baseline evaluations on CR-LT-KGQA demonstrate a high rate of hallucination in long-tail settings."
"Thus, both commonsense reasoning and long-tail knowledge are key characteristics of real-world questions that existing KGQA datasets do not support."