プログラミングMOOCの解答をクラスタリングし、学生への提示を多様化する

Core Concepts

MOOCでは学生の提出解答を共有することで、異なる解決方法を学ぶことができるが、多くのMOOCでは最新の解答のみを表示しており、その多様性や品質を考慮していない。本研究では、学生の提出解答をクラスタリングし、多様性と品質を考慮した上で代表的な解答を選択する手法を提案する。

Abstract

本研究では、MOOCにおける学生の提出解答の多様性を高めるための手法を提案している。
まず、JPlagというプラジアリズム検出ツールを活用して解答のクラスタリングを試みたが、短い解答を十分に処理できないという課題があった。そのため、独自に開発したRhubarbツールを使うことにした。
Rhubarbは以下の手順で動作する:

解答コードを標準化する - 変数名の匿名化、不要なコードの削除など、解答の本質的な違いを無視する変換を行う
標準化された解答間の構造的な編集距離を計算する - GumTreeツールを使ってAST上の編集距離を算出
階層的クラスタリングを適用し、解答をグループ化する - クラスタ間の最大距離を基準に統合
各クラスタから品質の高い代表解答を選択する - Hyperstyleによるコード品質評価を活用

Hyperskillプラットフォームのデータを使った評価では、Rhubarbがデフォルトの最新解答表示よりも優れた結果を示した。一方で、JPlagは全体の5.3%の課題しか完全に処理できなかった。そのため、JPlagを5.3%の課題に適用し、残りの94.7%にはRhubarbを適用するハイブリッドシステムを構築した。
本研究の主な貢献は以下の通りである:

Rhubarbツールの開発 - MOOCにおける学生解答の多様性を高めるクラスタリングツール
Pythonコード標準化ライブラリの開発 - 他のアプリケーションでも利用可能
59課題に対する8名の専門家による評価 - Rhubarbがデフォルトアプローチより優れていることを示した

Stats

867個のPythonタスクに対して305,584個の解答が提出された
JPlagは46個(5.3%)のタスクしか完全に処理できなかった
Rhubarbは100%のタスクを処理できた

Quotes

"MOOCでは学生の提出解答を共有することで、異なる解決方法を学ぶことができるが、多くのMOOCでは最新の解答のみを表示しており、その多様性や品質を考慮していない。"
"Rhubarbは以下の手順で動作する:

解答コードを標準化する
標準化された解答間の構造的な編集距離を計算する
階層的クラスタリングを適用し、解答をグループ化する
各クラスタから品質の高い代表解答を選択する"

Key Insights Distilled From

Clustering MOOC Programming Solutions to Diversify Their Presentation to Students

by Elizaveta Ar... at arxiv.org 03-29-2024

https://arxiv.org/pdf/2403.19398.pdf

Deeper Inquiries

MOOCプラットフォームにおける学生解答の多様性を高める他の方法はあるか?

本研究では、学生が提出したプログラミング課題の解答をクラスタリングして多様性を高める手法が提案されましたが、他にも多様性を向上させる方法が考えられます。例えば、解答のアプローチや戦略に基づいてクラスタリングすることで、同じ問題に対する異なる解決方法を示すことができます。また、解答の長さや複雑さ、使用されているアルゴリズムなどに基づいてクラスタリングを行うことも、学生にさまざまな視点やアプローチを提供するのに役立つでしょう。

コード品質以外の指標(例えば独創性や効率性)を用いて代表解答を選択する方法はないか?

コード品質以外の指標を使用して代表解答を選択する方法も考えられます。例えば、解答の独創性や効率性を評価し、それらの指標に基づいて最適な解答を選択することが考えられます。独創性を評価するためには、解答のアプローチや使用されているアルゴリズムの新規性を考慮することが重要です。効率性を評価する場合は、解答の実行時間やリソース使用量などを考慮して最適な解答を選択することができます。

本研究で提案した手法は、プログラミング以外の課題にも適用できるか?

本研究で提案された手法は、プログラミング課題に特化していますが、他の分野や課題にも適用することが可能です。例えば、文章の解析やデータの処理など、他の分野でも異なるアプローチや戦略を示すために解答をクラスタリングすることが有益である場合があります。また、異なる解決方法やアイデアを提示することで、学習者がより幅広い視点で問題に取り組むことができるため、様々な分野や課題に適用することができると考えられます。