核心概念
教室における教師の励まし・温かさの行動を、マルチモーダルな感情特徴と大言語モデルChatGPTを用いて自動的に評価する手法を提案し、その有効性を示した。
摘要
本研究は、教室における教師の「励まし・温かさ」(Encouragement and Warmth: EW)を自動的に評価する手法を提案している。EWは教師の効果的な指導の重要な要素の1つであり、学生の学習を促進する。
提案手法は以下の2つのアプローチを組み合わせている:
-
マルチモーダルな感情特徴抽出:
- 顔表情認識によるスマイルの検出
- 音声感情認識による笑い声の検出
- テキスト感情分析による肯定的なコメントの抽出
これらの特徴を機械学習モデル(RF、SVM、MLP)に入力し、EWスコアを推定する。
-
ChatGPTによる零shot評価:
- 教室の会話記録をChatGPTに入力し、EWの定義と評価基準に基づいて直接スコアを付与する。
- ChatGPTは論理的な理由付けも提供する。
実験の結果、提案手法の推定精度は人間の評価者間信頼性と同等の水準に達した(相関係数r = 0.513)。特に、テキスト感情特徴が最も重要な寄与をしていることが分かった。また、ChatGPTのGPT-4モデルは、GPT-3.5よりも優れた零shot性能を示した。
本研究は、教師の指導行動を自動的に分析し、教師研修などに活用できる可能性を示している。マルチモーダルな特徴抽出と大言語モデルの組み合わせは、教育分野における自動分析手法の発展に貢献すると期待される。
統計資料
教師の肯定的なコメントの数が多いほど、EWスコアが高くなる傾向がある。
音声における幸せな感情の検出が、EWスコアの上昇に寄与する。
音声における怒りや嫌悪の感情は、EWスコアを下げる傾向がある。
引述
"sieht schön aus perfekt"("looks beautiful perfect")
"keine Panik"("no panic")
"bevor hier einer weint"("before someone cries here")