預訓練 Transformer 中的知識迴路

大型語言模型 (LLM) 的知識儲存並非僅限於孤立的組件，而是透過「知識迴路」——由注意力頭、多層感知器 (MLP) 和嵌入層組成的子圖——來編碼和表達知識。