核心概念
現在のトランスフォーマーアプローチにおける自動短い回答採点における解釈可能な推論を通じて、成績決定背後の理由を示すことは難しいが、弱く監督された注釈手法を利用して正当化キュー検出モデルを開発することで、高品質な成績とその説明を提供する方向性が示された。
摘要
教育評価の風景は変わり、トランスフォーマーモデルの導入により予測精度が向上し、商業システムでも短い回答問題が自動的に採点されるようになった。しかし、これらアルゴリズムの意思決定プロセスは不透明であり、特定の成績が割り当てられた理由を理解することは非常に困難である。透明性は受容と信頼に不可欠であり、生徒がどこでどうして間違えたかを理解することは学びを促進するために重要である。本稿では、Mizumotoら(2019)が導入した正当化キュー検出タスクから着想を得て、我々は神経記号パイプラインを提案し、象徴的モデルの説明可能性から利益を得つつニューラルネットワークの柔軟性と予測力を保持することを目指しています。このパイプラインでは典型的なASAGデータセットで見つかるもの以外の特別な注釈は必要とせず、単にスコアリング基準内に含まれる重要なテキストスパン(正当化キュー)を識別します。この方法は生徒回答内で指定された概念が含まれている重要なテキストスパン(正当化キュー)を識別する弱く監督されたトランスフォーマーを活用し、「黄色」で強調表示されている例文中の正当化キューから最終成績生成します。このアプローチはバイリンガル・マルチドメイン・マルチクエスチョン訓練セット内でShort Answer Feedbackデータセット上でRMSE値0.24〜0.3改善しました。
統計資料
我々のアプローチはShort Answer Feedbackデータセット内でRMSE値0.24〜0.3改善した。
正確さ:78%以上
データ数:32種類の質問
引述
"透明性は受容と信頼に不可欠であり、生徒がどこでどうして間違えたかを理解することは学びを促進するために重要である。"
"我々は神経記号パイプライン効果的性能bilingual, multi-domain Short Answer Feedback dataset (Filighera et al., 2022) を示しました。"