核心概念
大型語言模型在多跳推理任務中表現不佳,本文提出了一種名為「記憶注入」的輕量級方法,通過在推理過程中將特定資訊注入模型中,以提高模型在多跳推理任務中的表現。
研究背景
近年來,基於 Transformer 架構的大型語言模型(LLM)在知識檢索和語言生成方面展現出驚人的能力,然而,它們在執行基本推理任務時卻常常力不從心。本文著重探討 LLM 在多跳推理任務中的不足,並提出了一種名為「記憶注入」的輕量級方法,旨在改善 LLM 在這方面的表現。
多跳推理的挑戰
多跳推理是指需要多步驟推理才能得出答案的問題,例如:「世界上最大的珊瑚礁系統位於…海岸附近」。人類可以輕鬆應對這類問題,但 LLM 卻經常遇到困難。作者假設,LLM 在處理多跳推理問題時,並非缺乏相關知識,而是無法正確地回憶起這些知識。
記憶注入方法
為了驗證這一假設,作者首先嘗試逆向工程 Transformer 模型進行推理的關鍵機制。他們發現,注意力頭在檢索關鍵記憶方面扮演著至關重要的角色。接著,作者研究了這種機制在多跳推理任務中失效的情況,並發現這可能是導致記憶檢索不正確、不充分或不相關的原因。
為了解決這個問題,作者提出了一種輕量級的「記憶注入」方法,可以在推理過程中糾正多跳推理的錯誤。例如,通過將「大堡礁」的記憶注入到多跳提示「世界上最大的珊瑚礁系統位於…海岸附近」中,可以將下一個標記「澳洲」的預測概率提高 189%。
實驗與分析
為了進行分析,作者手工創建了一個用於可解釋性的數據集,並使用了另一個以程式生成的大型數據集。他們進行了一系列實驗,以:
確定記憶注入的理想層數和幅度。
證明策劃特定於提示的記憶以進行注入的重要性。
分析從不同詞性(名詞、形容詞、副詞、連詞、動詞)提取的記憶在記憶注入過程中的表現差異。
結論與未來方向
作者的研究結果表明,「記憶注入」方法可以有效提高 LLM 在多跳推理任務中的表現。未來,作者計劃探索更精確的記憶注入方法,並將其應用於其他類型的推理任務。
統計資料
將「大堡礁」的記憶注入到多跳提示「世界上最大的珊瑚礁系統位於…海岸附近」中,可以將下一個標記「澳洲」的預測概率提高 189%。