核心概念
DeCoRe 是一種新的解碼策略,透過遮蔽檢索頭來誘發幻覺,並利用對比解碼機制來減少大型語言模型中的幻覺,從而提高模型在需要高度上下文忠實度的任務中的表現。
摘要
DeCoRe:透過對比檢索頭來減少大型語言模型幻覺的解碼方法
標題: DeCoRe:透過對比檢索頭來減少大型語言模型幻覺的解碼方法
作者: Aryo Pradipta Gema、Chen Jin、Ahmed Abdulaal、Tom Diethe、Philip Teare、Beatrice Alex、Pasquale Minervini、Amrutha Saseendran
機構: 愛丁堡大學、英國;Miniml.AI、英國;阿斯特捷利康人工智能、數據科學和人工智能中心、研發部、英國;倫敦大學學院、英國
發表日期: 2024 年 10 月 24 日
本研究旨在開發一種新的解碼策略,以減少大型語言模型 (LLM) 中的幻覺現象,特別是上下文不忠實和事實不準確的輸出。