이 연구는 GPT 기반 프로그래밍 힌트 시스템인 LLM Hint Factory를 개발하고 이를 활용하여 12명의 초보 프로그래밍 학습자를 대상으로 한 사고 구술 실험을 수행했다.
실험 결과, 고수준의 자연어 힌트만으로는 학생들의 문제 해결을 적절히 지원하기 어려웠다. 특히 다음 단계 논리나 구문 관련 도움 요청에 대해서는 고수준 힌트만으로는 부족하거나 오히려 혼란을 야기했다. 여기에 코드 예시와 같은 저수준 힌트를 추가하면 대부분의 경우 학생들을 효과적으로 지원할 수 있었다.
구체적으로, 다음 단계 논리(NL)나 구문(NS) 관련 도움 요청의 경우 대부분 학생들이 코드 예시 힌트 수준에서 올바른 조치를 취할 수 있었다. 반면 논리 디버깅(DL) 요청에는 고수준 자연어 힌트만으로도 충분한 경우가 많았다. 고수준 힌트는 때로는 학생들의 혼란과 좌절을 야기하기도 했는데, 이는 구체성 부족과 오해의 여지가 크기 때문인 것으로 나타났다.
이 연구 결과는 향후 교육용 챗봇이나 AI 튜터 등의 설계에 시사점을 제공한다. 학생들의 도움 요청에 대한 응답은 내용, 형식, 세부 수준 등을 개인화하여 다양한 학습 요구를 충족시켜야 한다.
Sang ngôn ngữ khác
từ nội dung nguồn
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Ruiwei Xiao,... lúc arxiv.org 04-04-2024
https://arxiv.org/pdf/2404.02213.pdfYêu cầu sâu hơn