대학 입문 컴퓨터 과학 과제 벤치마크: CSEPrompts

최신 AI, 기계 학습 및 NLP 기술의 발전으로 인해 대규모 데이터로 학습된 거대 언어 모델(LLM)이 개발되었습니다. 이러한 LLM은 학생들이 AI 생성 콘텐츠를 활용할 수 있게 하여 컴퓨터 과학 및 프로그래밍 교육에 영향을 미치고 있습니다. CSEPrompts는 입문 컴퓨터 과학 과제와 퀴즈를 포함하는 벤치마크 프레임워크로, 다양한 LLM의 성능을 평가하여 이러한 기술이 교육에 미치는 영향을 이해하고자 합니다.