In dieser Studie entwickelten wir ein Tool, das auf Basis von Large Language Models (LLMs) Studenten in Echtzeit Rückmeldungen zu verschiedenen Aspekten ihres Programmierstils gibt, wie z.B. Bezeichner, Konstanten, Kommentare und Modularisierung.
Wir führten eine randomisierte kontrollierte Studie mit über 8.000 Studenten weltweit durch, um die Auswirkungen des zeitnahen Feedbacks zu untersuchen. Wir zeigten, dass Studenten, die Echtzeit-Feedback erhielten, fünfmal häufiger darauf zugriffen als Studenten mit verzögertem Feedback. Außerdem machten Studenten, die das Feedback ansahen, mehr stilbezogene Änderungen an ihrem Code, wobei 79% dieser Änderungen direkt das erhaltene Feedback umsetzten.
Wir untersuchten auch die Qualität und Grenzen des von LLMs generierten Feedbacks sowie Techniken zur Gewährleistung von Konsistenz, Standardisierung und Vermeidung von demografischer Verzerrung, die für den Einsatz eines solchen Tools bei Studenten entscheidend sind.
Vers une autre langue
à partir du contenu source
arxiv.org
Questions plus approfondies