Kernekoncepter
Sprachmodelle können die Unterrichtsqualität in Mathematik bis zu einem gewissen Grad automatisch bewerten, stoßen aber bei komplexeren Unterrichtspraktiken an ihre Grenzen.
Resumé
Die Studie untersucht, inwieweit moderne Sprachmodelle in der Lage sind, die Qualität des Mathematikunterrichts automatisch zu bewerten. Dafür werden zwei Datensätze verwendet:
Der SimSE-Datensatz mit Simulationen von Mathematikunterricht für angehende Lehrkräfte, bei denen die Förderung metakognitiver Fähigkeiten im Fokus steht.
Der NCTE-Datensatz mit Transkripten von Mathematikstunden in Grundschulen, die anhand des Mathematical Quality of Instruction (MQI)-Instruments bewertet wurden.
Die Ergebnisse zeigen, dass Sprachmodelle bei Unterrichtspraktiken, die weniger pädagogische Expertise erfordern, wie der Verwendung mathematischer Fachsprache, vergleichbare Leistungen wie menschliche Experten erreichen können. Bei komplexeren Praktiken, die tiefere Schlussfolgerungen und Interpretationen erfordern, wie der Behebung von Schülerfehlern oder der Präzision der mathematischen Inhalte, sinkt die Effektivität der Sprachmodelle jedoch deutlich.
Um diese Herausforderungen zu adressieren, werden zwei Strategien erprobt:
Ein zweistufiges Vorgehen, bei dem zunächst die relevanten Sätze im Transkript identifiziert und dann darauf aufbauend die Bewertung vorgenommen wird.
Der Einsatz von klassengewichteten Verlusten, um den Mangel an Unterrichtsbeispielen mit hoher Qualität auszugleichen.
Überraschenderweise zeigt sich, dass die Verwendung von nur den Äußerungen der Lehrkräfte als Eingabe für die Bewertung studentenzentrierter Variablen gute Ergebnisse liefert. Dies unterstreicht das Potenzial, sich auf den Diskurs der Lehrkräfte zu konzentrieren, um den Unterricht umfassend zu beurteilen, auch wenn Schüleräußerungen schwierig zu erfassen sind.
Insgesamt zeigt die Studie sowohl das Potenzial als auch die Grenzen aktueller Sprachmodelle bei der automatischen Bewertung von Unterrichtsqualität auf und eröffnet Wege für weitere Forschung in diesem Bereich.
Statistik
"Dichte der mathematischen Sprache ist während der Lehrervorträge hoch."
"Konzeptuelle Behebung von Schülerfehlern und -schwierigkeiten erfolgt systematisch und ausführlich."
"Ungenauigkeiten beeinträchtigen die mathematischen Inhalte des Segments."
"Schülerklärungen charakterisieren einen Großteil des Segments."
Citater
"Ich werde mich selbst fragen, worum es in dieser Aufgabe geht."
"Wenn ich mich von der Menge der Informationen in einer Aufgabe überfordert fühle, weiß ich, dass ich die Aufgabe Satz für Satz noch einmal durchlesen kann, um sie in kleinere, besser handhabbare Teile zu zerlegen."