透過監督式微調促進教學型大型語言模型發展，以應用於計算機教育

核心概念

透過基於大學課程論壇問答數據的監督式微調，可以提升大型語言模型在計算機教育中的教學效果，使其更符合建構主義等教育原則。

摘要

研究論文摘要

書目資訊

Vassar, A., Renzella, J., Ross, E., & Taylor, A. (2024). Towards Pedagogical LLMs with Supervised Fine Tuning for Computing Education. Proceedings of the ACM Conference on International Computing Education Research, 1(1), 1-3. https://doi.org/XXXXXXX.XXXXXXX

研究目標

本研究旨在探討如何透過監督式微調，提升大型語言模型在計算機教育中的教學效果，使其更符合建構主義等教育原則。

研究方法

研究人員從大學程式設計課程論壇中，收集了 2,500 對高質量的問答數據，並對其進行了數據清理和人工篩選，最終得到 528 對符合標準的數據。這些數據被用於微調 OpenAI 的 ChatGPT 3.5 模型，並將其部署到一個大型澳洲大學的 600 多名程式設計學生中進行測試。

主要發現

初步結果顯示，經過微調的模型 (FT2) 在教學方面表現出更符合教育原則的特點，例如：使用更具啟發性的語氣引導學生思考，而非直接提供解決方案。

主要結論

透過基於大學課程論壇問答數據的監督式微調，可以有效提升大型語言模型在計算機教育中的教學效果，使其更符合建構主義等教育原則。

研究意義

本研究為開發更有效的計算機教育輔助工具提供了新的思路，並為大型語言模型在教育領域的應用提供了實證依據。

研究限制與未來方向

本研究的數據集規模相對較小，未來需要進行更大規模的數據收集和評估。此外，未來研究還可以探討如何將其他教育理論融入到大型語言模型的微調過程中。

統計資料

研究人員從大學程式設計課程論壇中收集了 2,500 對高質量的問答數據。
經過數據清理和人工篩選，最終得到 528 對符合標準的數據，佔總數據的 21%。
經過微調的模型 (FT2) 被部署到一個大型澳洲大學的 600 多名程式設計學生中進行測試。

引述

"Commercially available LLMs contradict these tenets, displaying a propensity to provide students with solutions despite being instructed otherwise [10, 13]; potentially harming learning by reducing self-efficacy and grades [2, 3, 8]."
"Compared to the instructive tone of GPT-3.5, where solutions are plainly stated and sometimes given, FT2 Socratically prompts the student to consider a particular approach (Table 1)."

從以下內容提煉的關鍵洞見

Towards Pedagogical LLMs with Supervised Fine Tuning for Computing Education

by Alexandra Va... 於 arxiv.org 11-05-2024

https://arxiv.org/pdf/2411.01765.pdf

深入探究

除了大學課程論壇，還有哪些數據源可以用於微調教學型大型語言模型？

除了大學課程論壇外，還有許多數據源可以用於微調教學型大型語言模型 (LLMs)，以提升其在電腦教育中的教學效果。以下列舉一些例子：

教科書和課程講義： 教科書和課程講義是電腦科學知識的結構化來源，可以提供大量的程式碼範例、解釋和練習題，用於訓練 LLMs 理解程式概念和解決問題。
程式碼倉庫： GitHub 等程式碼倉庫包含大量開源程式碼、文件和開發者討論，可以讓 LLMs 學習真實世界的程式實踐、常見錯誤和解決方案。
線上學習平台： Coursera、Udemy 和 Codecademy 等線上學習平台擁有豐富的程式教學影片、互動式練習和學生提交的程式碼，可以作為訓練 LLMs 提供個性化學習體驗的寶貴資源。
程式競賽平台： LeetCode、HackerRank 等程式競賽平台收集了大量演算法和資料結構問題及其解答，可以幫助 LLMs 提升程式解題能力和效率。
教學語料庫： 一些專門為電腦科學教育設計的教學語料庫，例如 NSF CAREER Award: Teaching Programming with Natural Language，包含了教師和學生的對話、程式碼範例和評量資料，可以用於訓練 LLMs 模擬真實的教學互動。
需要注意的是，數據源的品質對於微調 LLMs 的教學效果至關重要。在選擇數據源時，應優先考慮準確性、清晰度、結構化程度和教學價值。

如果學生過度依賴教學型大型語言模型，是否會影響他們的獨立思考能力？

的確，如果學生過度依賴教學型大型語言模型，可能會影響他們的獨立思考能力。 這種過度依賴可能導致以下問題：

降低解決問題的能力： 當學生習慣於 LLMs 提供直接答案或解決方案時，他們可能會失去主動思考、探索不同方法和解決問題的動力。
缺乏批判性思維： 學生可能會過於相信 LLMs 提供的資訊，而忽略了對資訊來源、準確性和邏輯性的批判性思考。
減少學習動機： 當學生認為 LLMs 可以輕鬆地完成作業和考試時，他們可能會失去學習的興趣和動力，進而影響學習成效。
為了避免學生過度依賴教學型 LLMs，可以採取以下措施：

強調 LLMs 的輔助角色： 教師應明確告知學生，LLMs 只是學習的輔助工具，而非替代品。 學生應將 LLMs 視為學習夥伴，而非「萬能解答機」。
設計促進思考的教學活動： 教師應設計鼓勵學生主動思考、探索和解決問題的教學活動，例如開放式問題、專案式學習和同儕評量。
培養資訊素養： 教師應幫助學生培養資訊素養，包括評估資訊來源、辨別真偽資訊和批判性思考的能力。
總之，教學型 LLMs 在電腦教育中具有巨大的潛力，但必須謹慎使用，避免學生過度依賴而影響其獨立思考能力。

如何設計更有效的評估指標，以衡量教學型大型語言模型的教學效果？

設計有效的評估指標對於衡量教學型大型語言模型的教學效果至關重要。 以下是一些可以考慮的評估指標：
1. 學習成效指標:

知識掌握度： 可以通過測驗、作業或專案來評估學生對程式概念和技能的理解程度。 可以比較使用和未使用 LLMs 的學生在這些評量中的表現差異。
問題解決能力： 可以設計一些程式設計挑戰或真實世界的問題，讓學生利用 LLMs 協助解決。 評估指標可以包括解決問題的效率、程式碼品質和解決方案的創新性。
學習遷移能力： 評估學生能否將 LLMs 習得的知識和技能應用到新的程式設計環境或問題中。
2. 學習過程指標:

學習參與度： 可以使用學習分析技術追蹤學生與 LLMs 的互動情況，例如提問次數、程式碼修改次數和使用時間。
學習策略： 可以通過問卷調查或訪談了解學生如何使用 LLMs 進行學習，例如他們會提出哪些問題、如何評估 LLMs 提供的資訊以及如何將 LLMs 整合到他們的學習流程中。
學習態度： 可以通過問卷調查了解學生對 LLMs 的看法，例如他們是否認為 LLMs 對學習有幫助、是否喜歡使用 LLMs 以及 LLMs 是否提升了他們的學習興趣。
3. 教學設計指標:

教學目標一致性： 評估 LLMs 提供的資訊和建議是否與教學目標一致，以及是否符合教學設計的原則。
教學內容品質： 評估 LLMs 生成的程式碼範例、解釋和回饋是否準確、清晰、易懂且具有教學價值。
教學互動品質： 評估 LLMs 與學生的互動是否自然、流暢、有幫助且能促進學習。
除了上述指標外，還可以結合定量和定性研究方法，例如實驗設計、問卷調查、訪談和案例研究，以更全面地評估教學型 LLMs 的教學效果。
在設計評估指標時，應考慮到教學目標、學習內容、學生特點和教學環境等因素，並選擇最適合的指標組合來進行評估。