大型語言模型中的幻覺現象：原則、分類、挑戰與待解問題

核心概念

大型語言模型 (LLM) 雖然在自然語言處理方面取得了顯著的進展，但也容易產生「幻覺」，即生成看似合理但不符合事實的內容。 本文深入探討了 LLM 幻覺現象的定義、分類、成因、檢測方法、緩解策略以及未來研究方向，以期促進 LLM 更可靠地在實際應用中發揮作用。

摘要

大型語言模型中的幻覺現象綜述

本文全面概述了大型語言模型 (LLM) 中幻覺現象的最新研究進展。

幻覺現象的定義與分類

不同於傳統自然語言生成任務中對幻覺現象的定義，考慮到 LLM 注重以用戶為中心的互動以及與用戶指令保持一致，且其幻覺現象主要體現在事實層面，本文提出了一個更精細的分類法，將 LLM 幻覺現象分為兩種類型：

• 事實性幻覺 (Factuality Hallucination)：指生成的內容與可驗證的現實世界事實不符，主要表現為事實矛盾，可細分為：
  • 事實矛盾 (Factual Contradiction)：LLM 輸出的事實性陳述與現實世界相矛盾，例如將電燈泡的發明錯誤地歸功於愛迪生。
  • 事實虛構 (Factual Fabrication)：LLM 輸出的事實性陳述無法根據現有知識驗證，例如聲稱埃菲爾鐵塔的建造導致了「巴黎虎」的滅絕。
• 忠實性幻覺 (Faithfulness Hallucination)：指生成的內容與用戶輸入或自身邏輯不一致，主要表現為指令不一致、上下文不一致和邏輯不一致，可細分為：
  • 指令不一致 (Instruction Inconsistency)：LLM 輸出的內容偏離了用戶的指令，例如在被要求將英文翻譯成西班牙文時，卻直接回答了問題。
  • 上下文不一致 (Context Inconsistency)：LLM 輸出的內容與提供的上下文信息不符，例如在總結尼羅河的發源地時，錯誤地將其描述為「非洲中部的山脈」。
  • 邏輯不一致 (Logical Inconsistency)：LLM 輸出的內容存在內部邏輯矛盾，例如在逐步解方程時，推理步驟正確但最終答案錯誤。

幻覺現象的成因分析

LLM 幻覺現象的產生原因是多方面的，涵蓋了 LLM 能力獲取過程的各個環節，主要可以歸納為以下三個方面：

• 數據 (Data)：
  • 錯誤信息和偏見 (Misinformation and Biases)：預訓練數據中存在的錯誤信息和社會偏見會被 LLM 記住並放大，導致生成虛假或帶有偏見的內容。
  • 知識邊界 (Knowledge Boundary)：LLM 的知識受限於預訓練數據的範圍，對於長尾知識、最新知識和受版權保護的知識，容易產生幻覺。
  • 低質量對齊數據 (Inferior Alignment Data)：監督微調階段使用的低質量對齊數據，例如包含新事實知識或過於複雜的指令，也會導致 LLM 產生幻覺。
• 訓練 (Training)：
  • 預訓練 (Pre-training)：預訓練階段使用的自回歸語言模型目標函數和單向注意力機制，可能導致 LLM 難以捕捉複雜的上下文依賴關係，從而產生幻覺。
  • 監督微調 (Supervised Fine-tuning)：監督微調階段，如果標註指令超出了 LLM 的知識邊界，模型會被迫生成超出其能力範圍的內容，從而產生幻覺。
  • 基於人類反饋的強化學習 (RLHF)：RLHF 訓練過程中，模型可能會為了迎合人類評估者的偏好而生成虛假或不誠實的內容，這種現象被稱為「諂媚 (Sycophancy)」。
• 推理 (Inference)：
  • 不完善的解碼策略 (Imperfect Decoding Strategies)：解碼策略中引入的隨機性雖然可以提高生成內容的多樣性，但也增加了產生幻覺的風險。
  • 過度自信 (Over-confidence)：LLM 在生成過程中過於關注局部上下文，忽視了全局信息，導致生成內容與原始指令或上下文不符。
  • Softmax 瓶頸 (Softmax Bottleneck)：Softmax 層和詞嵌入的使用限制了輸出概率分佈的表達能力，導致 LLM 難以準確地預測下一個詞。
  • 推理失敗 (Reasoning Failure)：LLM 在需要多跳推理的任務中，即使擁有必要的知識，也可能因為推理能力不足而產生錯誤的結果。

幻覺現象的檢測與緩解

為了應對 LLM 幻覺現象帶來的挑戰，研究人員提出了各種檢測和緩解策略：

• 幻覺現象檢測 (Hallucination Detection)：
  • 事實性幻覺檢測 (Factuality Hallucination Detection)：主要通過事實核查和不確定性估計來判斷 LLM 輸出的事實準確性。
  • 忠實性幻覺檢測 (Faithfulness Hallucination Detection)：主要通過評估 LLM 輸出的內容與上下文信息的一致性來判斷其忠實性。
• 幻覺現象緩解 (Hallucination Mitigation)：
  • 數據相關的緩解策略 (Data-related Mitigation Strategies)：主要通過數據過濾、模型編輯和基於檢索的生成來提高數據質量和模型的知識覆蓋範圍。
  • 訓練相關的緩解策略 (Training-related Mitigation Strategies)：主要通過改進預訓練目標函數、監督微調方法和 RLHF 算法來增強 LLM 的推理能力和對抗幻覺的能力。
  • 推理相關的緩解策略 (Inference-related Mitigation Strategies)：主要通過優化解碼策略、增強上下文注意力和解決 Softmax 瓶頸問題來提高 LLM 生成內容的準確性和忠實性。

未來研究方向

儘管在應對 LLM 幻覺現象方面取得了進展，但仍有許多問題有待解決，未來研究方向包括：

• 大型視覺語言模型中的幻覺現象 (Hallucination in Large Vision-Language Models)：隨著視覺語言模型的興起，研究其幻覺現象的產生機制和應對策略至關重要。
• 理解 LLM 幻覺現象中的知識邊界 (Understanding of Knowledge Boundaries in LLM Hallucinations)：深入研究 LLM 知識邊界的形成原因和影響因素，有助於開發更有效的幻覺現象緩解策略。

總之，LLM 幻覺現象是一個複雜且具有挑戰性的問題，需要學術界和工業界共同努力，才能開發出更可靠、更值得信賴的 LLM 系統。

統計資料

引述

從以下內容提煉的關鍵洞見

A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions

by Lei Huang, W... 於 arxiv.org 11-20-2024

https://arxiv.org/pdf/2311.05232.pdf

深入探究

如何利用外部知識庫和推理機制來增強 LLM 的事實性和忠實性，從而減少幻覺現象的產生？

外部知識庫和推理機制可以通過以下方式協同合作，增強 LLM 的事實性和忠實性，減少幻覺現象：
1. 基於檢索增強生成 (Retrieval-Augmented Generation, RAG) 的知識整合

外部知識庫作為事實來源： 將外部知識庫，例如維基百科、專業領域資料庫等，與 LLM 整合。在生成文本時，LLM 可以查詢這些知識庫，獲取相關的真實世界信息，作為生成內容的依據，從而提高事實準確性。
語義搜索和信息過濾： 開發高效的語義搜索引擎，根據用戶指令和當前上下文，從海量知識庫中精確檢索最相關的信息。同時，設計信息過濾機制，排除噪聲和偏差信息，確保輸入 LLM 的知識是可靠的。
2. 推理機制增強邏輯一致性和上下文理解

知識圖譜增強推理： 將外部知識庫結構化为知识图谱，並利用圖神經網絡等技術進行推理，可以幫助 LLM 更好地理解实体之间的关系，进行逻辑推理，从而减少逻辑不一致的幻觉现象。
多步推理和溯源： 訓練 LLM 進行多步推理，將複雜問題分解成多個子問題，並追蹤每一步推理的依據，確保推理過程的透明性和可解释性。
上下文感知的注意力機制： 改進 LLM 的注意力機制，使其在生成文本時，不僅關注當前詞語，更要關注整個上下文信息，包括用戶指令、對話歷史、檢索到的外部知識等，避免因上下文信息丢失而產生的偏差。
3. 結合事實驗證和一致性檢查

事實驗證： 利用外部知識庫或專門的事實驗證工具，對 LLM 生成的內容進行事實性驗證，识别潜在的错误信息。
一致性檢查： 設計機制檢查 LLM 生成內容的內部一致性，例如時間線、人物關係、事件邏輯等，避免自相矛盾的幻覺現象。
4. 持續學習和知識更新

動態知識更新： 建立機制，讓 LLM 能夠持續學習最新的知識，例如通過定期更新外部知識庫、整合新聞資訊等，避免因知識過時而產生幻覺。

能否設計新的評估指標，更全面、更精確地評估 LLM 幻覺現象的嚴重程度和影響？

可以從以下幾個方面設計新的評估指標，更全面、更精確地評估 LLM 幻覺現象：
1. 細化評估指標，針對不同類型的幻覺

事實性幻覺： 可以根據幻覺的嚴重程度進行分級，例如輕微偏差、明顯錯誤、完全捏造等。
忠實性幻覺： 可以針對不同子類型設計指標，例如指令一致性可以用 BLEU 或 ROUGE 等指標評估，邏輯一致性可以設計專門的邏輯推理任務進行評估。
2. 結合定量評估和定性分析

定量評估： 可以使用自動化指標，例如準確率、召回率、F1 值等，快速評估 LLM 在 benchmark 数据集上的表現。
定性分析： 可以邀請人類評估員，對 LLM 生成的文本進行主觀評估，例如流暢度、可讀性、信息量、可信度等，並分析幻覺現象產生的原因和影響。
3. 關注幻覺現象的影響和後果

下游任務表現： 評估 LLM 在特定下游任務中的表現，例如問答、摘要、翻譯等，分析幻覺現象對任務完成的影響程度。
用戶體驗和信任度： 調查用戶對 LLM 生成內容的滿意度和信任度，了解幻覺現象對用戶體驗的影響。
4. 考慮不同應用場景的需求

高風險領域： 例如醫療、金融、法律等領域，需要設計更嚴格的評估指標，重點關注幻覺現象可能帶來的風險和危害。
娛樂和創意領域： 可以適當放寬對幻覺現象的容忍度，鼓勵 LLM 生成更具創意和趣味性的內容。

LLM 幻覺現象的產生是否與人類認知過程中的某些偏差或錯誤存在相似之處？

LLM 幻覺現象的產生與人類認知過程中的某些偏差或錯誤確實存在相似之處，可以從以下幾個方面分析：
1. 數據偏差和認知偏差

LLM： 訓練數據中的偏差信息，例如刻板印象、偏見、錯誤信息等，會被 LLM 学习和记忆，并在生成文本时表现出来，形成“模仿性错误”。
人類： 人類在成長過程中，也會受到周圍環境、文化背景、個人經歷等因素的影響，形成各種認知偏差，例如確認偏誤、可得性偏差等，導致在信息處理和決策過程中出現偏差和錯誤。
2. 有限的知識和經驗

LLM： LLM 的知識来自于训练数据，其知识边界受限于训练数据的范围和质量。当面对超出其知识边界的问题时，LLM 可能会“一本正经地胡说八道”，捏造信息。
人類： 人類的知識和經驗也是有限的，當面對不熟悉的事物或超出認知範圍的問題時，也可能依賴直覺、猜測或有限的信息进行推理，導致出現錯誤的判斷和結論。
3. 推理能力的局限性

LLM： 雖然 LLM 在某些推理任務上表現出色，但其推理能力仍然存在局限性，例如难以进行多步推理、缺乏常識推理能力等，容易產生邏輯不一致的錯誤。
人類： 人類的推理能力也并非完美，容易受到情绪、压力、疲劳等因素的影响，在复杂情况下容易出现推理错误，例如赌徒谬误、合取谬误等。
4. 對確認信息的偏好

LLM： RLHF 訓練的 LLM 为了迎合人类的喜好，可能会倾向于生成用户期望听到的答案，即使这些答案与事实不符，形成“逢迎”现象。
人類： 人類也存在确认偏誤，倾向于寻找和解释支持自己已有观点的信息，而忽略或低估与之相反的信息，导致认知偏差。
總結： LLM 的幻覺現象和人類認知偏差都源于对信息的有限掌握和处理能力的局限性。了解这些相似之处有助于我们更好地理解 LLM 幻覺現象的本质，并针对性地改进模型的设计和训练方法，使其更加可靠和可信。