長文引用生成：讓大型語言模型在長文問答中生成精細的引用

核心概念

本文旨在讓大型語言模型能夠在回答長文問題時生成精細的句子級引用,提高其可信度和可驗證性。

摘要

本文首先提出了LongBench-Cite基準測試,評估了當前大型語言模型在長文問答引用(LQAC)任務上的表現,發現存在很大的改進空間。為此,作者提出了CoF(Coarse to Fine)管道,利用現有的大型語言模型自動構建高質量的長文問答實例,並生成精細的句子級引用。作者使用CoF構建了LongCite-45k,這是一個大規模的LQAC數據集。最後,作者使用LongCite-45k對GLM-4-9B和Llama3.1-8B進行了微調,成功開發出LongCite-8B和LongCite-9B模型,能夠在單一輸出中生成準確的回答和精細的句子級引用。實驗結果顯示,我們的模型在引用質量方面優於包括GPT-4o在內的先進專有模型。此外,在LQAC數據上進行微調還有效減少了模型的幻覺,並使其更均勻地利用上下文信息。

統計資料

為實現其水質目標,MOE制定了安大略水資源法(OWRA)這一立法。[22-23]
OWRA立法與其下的各種法規共同規定了管理環境問題的法律要求。[23]

引述

"當前長文大型語言模型(LLMs)雖然在基於大量文本回答用戶問題方面展現了令人印象深刻的能力,但其回應中缺乏引用使得用戶驗證困難,導致人們對其可信度存在擔憂,因為它們可能存在幻覺。"
"我們的工作不僅提高了LLMs在長文問答引用(LQAC)任務上的能力,還進一步改善了其回答的正確性。"

從以下內容提煉的關鍵洞見

LongCite: Enabling LLMs to Generate Fine-grained Citations in Long-context QA

by Jiajie Zhang... 於 arxiv.org 09-11-2024

https://arxiv.org/pdf/2409.02897.pdf

深入探究

如何進一步提高大型語言模型在長文問答中生成精細引用的能力?

要進一步提高大型語言模型（LLMs）在長文問答中生成精細引用的能力，可以採取以下幾個策略：

數據集的質量與多樣性：構建高質量的訓練數據集是關鍵。使用自動化的數據生成管道，如CoF（Coarse to Fine），可以從長文本中提取精確的句子級引用，並生成多樣化的問答實例。這樣的數據集（如LongCite-45k）能夠涵蓋不同主題和上下文，從而提高模型的泛化能力。

增強模型的上下文理解能力：透過持續的微調（SFT）和使用長文本進行訓練，可以增強模型對長文的理解能力。這不僅能提高模型生成的答案的準確性，還能改善引用的精確性。

引入多階段生成過程：在生成過程中，先生成答案，再根據答案提取相關的引用，這樣可以減少生成過程中的錯誤。這種方法能夠確保引用的相關性和精確性，從而提高用戶的驗證體驗。

使用強化學習進行優化：通過強化學習的方法，對模型的生成結果進行評估和優化，特別是在引用的質量和準確性方面。這可以幫助模型學習到更好的生成策略。

如何評估大型語言模型在長文問答中生成引用的可靠性和可信度?

評估大型語言模型在長文問答中生成引用的可靠性和可信度，可以從以下幾個方面進行：

引用質量指標：使用引用F1分數來評估模型生成的引用的質量。這包括引用的召回率和精確率，確保生成的引用能夠完全支持模型的回答，並且不包含無關的引用。

正確性評估：通過比較模型生成的答案與真實答案的相似度來評估正確性。可以使用GPT-4o等模型進行自動評分，並結合人工評估來確保評估的準確性。

用戶驗證：讓用戶對模型生成的答案和引用進行驗證，收集用戶的反饋和評價，這能夠提供實際使用中的可靠性指標。

多樣化的評估方法：結合多種評估方法，如自動評估和人工評估，並考慮不同的上下文和問題類型，以全面評估模型的性能。

大型語言模型在長文問答中生成精細引用的能力對於其在其他任務中的表現有何影響?

大型語言模型在長文問答中生成精細引用的能力對於其在其他任務中的表現有顯著影響，具體表現在以下幾個方面：

提高信息提取能力：精細引用的生成能力使模型能夠更好地從長文本中提取關鍵信息，這對於信息檢索、摘要生成等任務至關重要。

減少幻覺現象：通過提供具體的引用，模型能夠減少生成不準確或虛構內容的可能性，從而提高其在各種任務中的可靠性和可信度。

增強用戶信任：當模型能夠提供清晰的引用時，用戶對模型的信任度會提高，這對於需要高可靠性的應用場景（如醫療、法律等）尤為重要。

促進跨任務的知識轉移：在長文問答中學到的引用生成能力可以轉移到其他任務中，幫助模型在多任務學習中表現更佳，特別是在需要上下文理解和信息整合的任務中。