大學生評分員評分開放式統計任務一致性之培養

핵심 개념

透過適當的訓練和高品質的評分標準，大學生評分員可以培養出與教師評分開放式統計任務時，達成並維持高度一致性的能力。

초록

書目資訊

Beckman, M. D., Burke, S., Fiochetta, J., Fry, B., Lloyd, S. E., Patterson, L., & Tang, E. (未出版). 大學生評分員評分開放式統計任務一致性之培養。

研究目標

本研究旨在探討大學生評分員在接受培訓和獲得評分開放式統計任務經驗後，評分一致性的發展趨勢。

研究方法

研究對象

• 一名經驗豐富的統計學教師（評分員 A）。
• 四名大學生研究助理（評分員 E、F、G 和 H），他們曾擔任大型統計學入門課程的助教，但沒有正式接受過評分開放式統計任務的培訓。

研究設計

• 五個階段的評分練習，包括使用簡化評分標準、個人評分標準、同伴評分標準和專家評分標準。
• 評分練習的資料集來自先前研究中收集的近 2000 名學生的開放式統計任務回答。
• 使用二次加權 Kappa (QWK) 和 Gwet's AC2 評估評分員間和評分員內的一致性。

主要發現

• 大學生評分員在接受培訓並使用高品質評分標準後，能夠快速培養出與教師評分開放式統計任務時，達成並維持高度一致性的能力。
• 在使用簡化評分標準時，評分員間的一致性較低，但在接受培訓並使用專家評分標準後，一致性顯著提高。
• 評分員的自我一致性與其與教師評分的一致性相似。
• 評分員團隊在接受培訓和進行幾次評分練習後，整體一致性顯著提高。

主要結論

• 大學生評分員可以成為評分開放式統計任務的可靠資源，特別是在接受適當培訓和使用高品質評分標準的情況下。
• 培訓和高品質評分標準對於確保評分一致性至關重要。

研究意義

本研究結果對大學教學具有重要意義，特別是在大型統計學課程中，教師經常依賴助教或評分員協助評分。

研究限制與未來研究方向

• 本研究的樣本量相對較小，未來研究可以使用更大的樣本量來驗證研究結果。
• 未來研究可以探討不同培訓方法和評分標準對評分一致性的影響。

통계

研究團隊由一名經驗豐富的統計學教師和四名大學生研究助理組成。
評分練習的資料集來自先前研究中收集的近 2000 名學生的開放式統計任務回答。
評分員間一致性的二次加權 Kappa (QWK) 值介於 0.79 到 0.83 之間，表示一致性很高。
使用專家評分標準時，大學生評分員與教師評分的一致性顯著提高。
評分員團隊在接受培訓和進行幾次評分練習後，整體一致性（Gwet's AC2）顯著提高。

인용구

“大學生評分員可以培養出與教師評分開放式統計任務時，達成並維持高度一致性的能力。”
“培訓和高品質評分標準對於確保評分一致性至關重要。”

핵심 통찰 요약

Developing Consistency Among Undergraduate Graders Scoring Open-Ended Statistics Tasks

by Matthew D. B... 게시일 arxiv.org 10-24-2024

https://arxiv.org/pdf/2410.18062.pdf

더 깊은 질문

在評分其他學科的開放式任務時，大學生評分員是否也能達到同樣高的評分一致性？

雖然這項研究著重於統計學科的評分一致性，但其結果可以推廣到其他學科的開放式任務評分。 大學生評分員在評估其他學科的開放式任務時，也有可能達到同樣高的評分一致性，但需要滿足以下條件：

明確的評分標準: 清晰、詳細的評分標準（rubric）是確保評分一致性的關鍵。評分標準應明確列出各個評分等級的具體要求，並提供相應的範例。
適當的培訓: 大學生評分員需要接受適當的培訓，以了解評分標準的應用方法，並通過練習提高評分一致性。培訓內容應包括評分標準的解讀、範例分析、模擬評分和評分員之間的討論等。
持續的回饋和校準: 在評分過程中，應定期進行評分員之間的校準，以確保評分標準的理解和應用一致。同時，應及時向評分員提供回饋，幫助他們改進評分方法，提高評分一致性。
需要注意的是，不同學科的評分標準和評分難度可能有所不同，因此需要根據具體情況調整培訓內容和評分標準。

如果沒有經驗豐富的教師提供指導和評分標準，大學生評分員是否仍然能夠保持評分一致性？

沒有經驗豐富的教師提供指導和評分標準，大學生評分員要保持評分一致性會更加困難，但並非完全不可能。以下是一些建議：

共同制定評分標準: 大學生評分團隊可以參考相關資料和範例，共同討論和制定評分標準。過程中應盡可能詳細地列出各個評分等級的要求，並提供相應的範例。
交叉評分和討論: 評分團隊可以採用交叉評分的方式，讓不同的評分員評估同一批作業，然後比較評分結果，討論評分差異，並修正評分標準。
尋求外部資源: 評分團隊可以參考其他學校或機構的評分標準和培訓資料，或邀請其他領域的專家提供指導。
儘管學生評分團隊可以自行嘗試建立評分標準和流程，但經驗豐富的教師指導仍然至關重要。教師可以提供更專業的建議，幫助學生評分員更準確地理解評分標準，並避免潛在的評分偏差。

如何設計更有效的培訓項目，以幫助大學生評分員更快地達到高水平的評分一致性？

以下是一些設計更有效的培訓項目的建議：

模組化設計: 將培訓內容分解成多個模組，例如評分標準解讀、範例分析、模擬評分、評分員校準等。每個模組可以獨立進行，方便評分員根據自身情況選擇學習。
線上線下結合: 結合線上學習平台和線下討論，讓評分員可以更靈活地學習評分知識，並通過線下討論解決評分過程中遇到的問題。
案例分析和角色扮演: 設計真實的評分案例，讓評分員進行模擬評分，並通過角色扮演的方式，讓評分員體驗不同的評分情境，提高應變能力。
及時回饋和評估: 在培訓過程中，應及時向評分員提供回饋，幫助他們了解自身的評分優缺點。同時，應設計評估機制，例如評分一致性測試，以評估培訓效果，並根據評估結果調整培訓內容。
通過精心設計的培訓項目，可以幫助大學生評分員更快地掌握評分技能，提高評分一致性，並為教學評估提供更可靠的數據支持。