Core Concepts
CFlowは、学生のコード提出を大規模に分析し、意味的フローと正誤情報を視覚化することで、教師が学生の理解度と課題を効果的に把握できるようにする。
Abstract
CFlowは、学生のコード提出を大規模に分析し、意味的フローと正誤情報を視覚化することで、教師が学生の理解度と課題を効果的に把握できるようにするシステムです。
具体的には以下の4つのステップで実現しています:
コード行の意味的な意味を特定し、タグ付けする
類似したコード行をグループ化し、コード間の整列を行う
各コード行の正誤を大規模言語モデル(LLM)で判定する
グループ化された結果をクラスタリングし、視覚化する
この結果、教師は学生の一般的な問題解決パターンや誤りを一目で把握でき、個別の解答を詳細に確認することもできます。従来のツールでは、個別の解答を見るか、全体像を把握するかのどちらかに限られていましたが、CFlowはこの両方の機能を提供しています。
ユーザ評価の結果、CFlowを使うと、学生の誤りを半分の時間で特定でき、2倍多くの望ましいパターンを思い出せることが分かりました。CFlowは大規模な多様なコード提出を効果的に分析し、教師の理解を深めるのに役立ちます。
Stats
学生のコード提出は6,000件以上あり、そのうち正解のものは全体の半分以下でした。
Quotes
"CFlowは、コードの意味的なフローを一目で把握できるので、学生のアプローチを理解するのに非常に役立ちました。"
"CFlowのヒストグラムビューは、学生の主要な間違いを明確に示してくれて、とても便利でした。"