ACE: Assessing Computational Thinking and Problem Solving in Visual Programming Domains

Core Concepts

ACE focuses on Analyzing, Evaluating, and Creating levels in Bloom's Taxonomy for assessing computational skills.

Abstract

The content discusses the development of ACE, a test focusing on higher cognitive levels in Bloom's Taxonomy for evaluating computational thinking skills. It includes an abstract, introduction, related work, study details, results, limitations, conclusion, and future work. The test comprises 21 multi-choice items based on block-based visual programming tasks from Hour of Code: Maze Challenge by Code.org. Results confirm the reliability and validity of ACE through psychometric analysis with 371 students in grades 3-7.
Abstract:

CT and problem-solving skills integrated into K-8 curricula worldwide.
Need for reliable assessments to measure proficiency.
Development of ACE test focusing on Analyzing, Evaluating, Creating levels.
Introduction:

Importance of CT as a critical skill in today's digital world.
Integration of CT into K-8 curricula globally.
Related Work:

Overview of various CT assessments based on format and cognitive levels.
Study Details:

Two-phase data collection process with 371 students from grades 3-7.
Results:

Good fit statistics for internal structure assessment using CFA.
Reliability confirmed through Cronbach alpha value and IRT analysis.
Limitations:

Evaluation limited to HoCMaze scores; potential improvements suggested for item presentation.
Conclusion & Future Work:

ACE validated for assessing CT skills; suggestions for future enhancements discussed.

Stats

Recent works have proposed tests for assessing these skills across various CT concepts and practices - Recent works have proposed several assessments that measure students’ CT during their K-8 academic journey. - These assessment tools are essential for tracking the progress of students - Prior work has proposed several CT assessments based on their format including portfolios - Several works have also discussed the multi-faceted nature of CT and its broader role in the acquisition of creative problem-solving skills - The test contains items grounded in the domain of block-based visual programming

Quotes

"CT is emerging as a critical skill in today’s digital world."
"ACE focuses on three higher cognitive levels in Bloom’s Taxonomy."
"Our results confirm the reliability and validity of ACE."

Key Insights Distilled From

Analyzing-Evaluating-Creating

by Ahana Ghosh,... at arxiv.org 03-20-2024

https://arxiv.org/pdf/2403.12227.pdf

Deeper Inquiries

質問1

ACEを効果的に計算上の創造性を評価するためにさらに改善する方法は何ですか？
ACEをさらに改善して計算上の創造性を効果的に評価するために、以下の点が考慮されるべきです：

問題設定の多様化：より複雑な問題やリアルワールドシナリオを取り入れて、学生が新しい解決策やアプローチを考える能力をテストします。
オープンエンド質問の追加：単純な選択肢ではなく、学生が自分で回答や解決策を提示できるオープンエンド質問も導入します。
テスト環境の拡張：他のプログラミング環境や実際の開発プロジェクトへの応用可能性も考慮し、より現実的な課題設定やスキル評価項目を組み込みます。

質問2

ACEというようなマルチチョイス型診断テストだけに依存する場合の潜在的な欠点や制限事項は何ですか？
マルチチョイス型診断テスト（例: ACE）だけに依存する場合、次のような潜在的な欠点や制限事項があります：

創造性と柔軟性への制約：マルチチョイス形式では学生は与えられた選択肢内から回答を選ばざる得ません。そのため、本当の創造力や柔軟性が正確に測定されず、学生が革新的思考力を十分発揮できません。
コンテキスト不足：リアルワールドシナリオや実践的課題へ対処しきれておらず、特定状況下でどう行動すべきかといった重要情報が欠如しています。
スキル全体像不明確：一部分だけでは全体像が見えず、学生全体としてどれだけ包括的・深い理解・能力持っているか判断しづらくなります。

質問3

ACE以上に評価能力向上させるために現実世界シナリオ導入はどう役立つでしょうか？
現実世界シナリオ導入は以下のように評価能力向上させます：

コンテキスト理解促進：具体例・現実世界シーン提供しコード作成意義理解促進。これは抽象度高いコード作成タスク時有益。
実践知識活用奨励: 現実世界タスク通じて技術知識活用奨励。このこと教科内容直接関連した技術知識身近感醸成可.
解決手法多角化: 現実能務案件模倣タスク通じて異種手法探求奨励. これこそ受験者間差異引出す.