核心概念
大型語言模型的上下文學習能力可以用貝葉斯推論來解釋,並推導出相應的規模法則,有助於我們理解模型如何學習、預測模型行為,以及評估對齊策略的影響。
標題:基於貝葉斯推論的上下文學習規模法則
作者:Aryaman Arora, Dan Jurafsky, Christopher Potts, Noah D. Goodman
機構:史丹佛大學
發表於:ICLR 2025
本研究旨在探討大型語言模型(LLM)的上下文學習(ICL)能力是否可以用貝葉斯推論來解釋,並基於此推導出相應的規模法則,以預測模型在給定上下文範例數量下的表現。