Główne pojęcia
大規模言語モデルの出力における幻覚を検証し、トークンレベルの不確実性定量化を提案する。
Streszczenie
大規模言語モデル(LLMs)は幻覚を生じやすく、その危険性がある。本研究では、トークンレベルの不確実性定量化に基づいた新しい事実チェックと幻覚検出手法を提案している。この手法は、ニューラルネットワークの出力から情報を抽出し、信頼できない予測を検出することができる。さらに、特定の主張値の不確かさだけを測定するClaim Conditioned Probability(CCP)メソッドも紹介されている。バイオグラフィ生成タスクでの実験では、CCPが6つの異なるLLMおよび3つの言語において強力な改善を示した。
Statystyki
幻覚割合: 6-29%
CCPメソッドによるROC-AUC: 0.66 ± 0.03 (Mistral 7b), 0.66 ± 0.04 (Vicuna 13b), 0.71 ± 0.05 (Jais 13b), 0.60 ± 0.04 (GPT-3.5-turbo)
Cytaty
"Fact-checking is a research direction that addresses this problem."
"Our proposed token-level UQ method, claim conditioned probability, outperforms a number of baselines."