Core Concepts
手動で作成された変異体の10%未満が等価であり、開発者の多くが等価変異体を正確に識別することができないことが明らかになった。
Abstract
本研究では、Code Defendersゲームで収集された18,000個の手動作成変異体と11,000個の対応するテストを分析しました。
まず、既存の自動等価変異体検出手法であるTCEとTCE+を使って、手動作成変異体の等価性を評価しました。その結果、TCE+は全体の41.5%の等価変異体を検出できましたが、TCEは16.7%しか検出できませんでした。
次に、残りの変異体について手動で分類したところ、全体の5.75%が等価変異体であることがわかりました。CUTによって等価変異体の割合は2%から13%まで変動していました。
さらに、等価デュエルの解決状況を分析したところ、プレイヤーの65%が等価変異体を正しく識別できていないことが明らかになりました。また、変異体の意図を正しく分類できたのは88%でしたが、等価変異体の場合は正解率が54%から64%に低下していました。
これらの結果は、等価変異体の検出が開発者にとって困難であり、改善の余地があることを示唆しています。教育の場面では、等価変異体の特定に関する理解を深めるための取り組みが必要と考えられます。
Stats
手動作成変異体の10%未満が等価である。
TCE+は全体の41.5%の等価変異体を検出できた。
TCEは16.7%の等価変異体しか検出できなかった。
プレイヤーの65%が等価変異体を正しく識別できていなかった。
等価変異体の場合、プレイヤーの正解率は54%から64%に低下していた。
Quotes
"手動で作成された変異体の10%未満が等価である"
"TCE+は全体の41.5%の等価変異体を検出できた"
"TCEは16.7%の等価変異体しか検出できなかった"
"プレイヤーの65%が等価変異体を正しく識別できていなかった"
"等価変異体の場合、プレイヤーの正解率は54%から64%に低下していた"