核心概念
大型語言模型 (LLM) 可被訓練來模擬學生的認知過程,包括常見的錯誤認知,但需要仔細校準正確和錯誤範例的比例,以確保模型在學習複製錯誤的同時,也能維持正確解題的能力。
摘要
基於大型語言模型建構具有錯誤認知學生的認知模型:兼論其挑戰與策略
這篇研究論文探討如何利用大型語言模型 (LLM) 來建構認知學生模型 (CSM),特別是模擬學生在學習過程中產生的錯誤認知。
本研究旨在探討:
LLM 是否能被訓練來準確模擬學生的代數解題過程,包括正確解法和常見的錯誤認知。
如何調整訓練資料中的正確和錯誤範例比例,以建構出既能複製錯誤認知又能維持正確解題能力的 CSM。
研究者開發了一個名為 MalAlgoPy 的 Python 程式庫,用於模擬代數方程式及其解題過程。MalAlgoPy 以有向無環圖的形式表示 16 種不同的問題類型,圖中的邊表示正確的轉換和常見的錯誤認知。
研究者使用 MalAlgoPy 生成包含正確解題路徑和「錯誤演算法」(包含常見學生錯誤的解題路徑)的資料集,並以此訓練 LLM 模型 (Llama-3.1-8B-Instruct)。
研究過程中,研究者系統性地改變了錯誤認知和正確範例的訓練資料量,並使用以下指標評估模型的效能:
錯誤認知準確率 (MA):評估模型在適用問題類型中準確複製特定錯誤認知的能力。
適用問題類型的正確率 (CAA):評估模型在適用於特定錯誤認知的問題類型中正確解題的能力。
不適用問題類型的正確率 (CANA):評估模型在不適用於特定錯誤認知的問題類型中的表現。
整體正確率 (OCA):評估模型在所有問題類型中正確解題的整體能力。