Core Concepts
LLMを活用して、専門家の思考プロセスを組み込んだ意思決定モデルが、初心者とLLMが学生の誤りに対処する能力を向上させる可能性があることを示す。
Abstract
高品質なチュータリングの拡大は教育における主要な課題である。
Bridgeメソッドは、専門家の潜在的な思考プロセスを意思決定モデルに変換するために認知タスク分析を活用している。
データセットは700件のリアルなチュータリング会話から構築されており、専門家によって注釈付けされている。
LLM(Large Language Models)は専門家の意思決定モデルに依存することで、学生の問題解決プロセスにより深く関与し、浅く関与することが示唆されている。
1. 導入
教育で高品質なチュータリングが重要である。
多くのプラットフォームが初心者チューターを雇用している。
学生の間違いへの対応は初心者チューターが苦労する領域である。
2. 関連研究
専門家の意思決定プロセスモデリングや数学で生徒の間違いへの対応方法について研究されてきた。
3. 自動フィードバック
最近のNLP技術は教師に授業内容に関するフィードバックを提供し、費用対効果が高いことが示されている。
Stats
専門家からGPT4へ「問題を単純化してください」という回答は、「問題再試行」よりも76%好まれています。
ランダムな意思決定はGPT4の回答品質を97%低下させます。
Quotes
"Responses from GPT4 with expert decisions are +76% more preferred than without."
"Random decisions decrease GPT4’s response quality by -97% than expert decisions."