Core Concepts
専門家や学生が生成したコードの説明と比較して、ChatGPTによるコードの説明は有用であり、教育上の障壁を解消する可能性がある。
Abstract
プログラミングクラスで使用される典型的な問題を解決するために説明付きコードを提示する作業例は、プログラム言語の意味を示すためにインストラクターが広く使用しています。しかし、多くの場合、インストラクターはプログラムクラスで使用される多くの例に対して説明を提供する時間がほとんどありません。この論文では、LLMを使用して受動的および能動的な例探索システム向けにコード説明を生成することの実現可能性を評価します。この目標を達成するために、ChatGPTによって生成されたコード説明と専門家および学生によって生成された説明を比較します。研究者はChatGPTなどのLLMを使用してコード説明を生成しました。これらのLLMは異なる抽象化レベル(行ごと、段階ごと、高レベル要約)で説明を生成するために使用されました。
Stats
専門家やChatGPTが生成した説明は学生が生成したものよりも2倍以上長い。
学生は専門家やChatGPTよりも単語数が少なく、その単語選択肢が狭い傾向がある。
Quotes
"ChatGPTによって生成された説明は専門家と非常に似ており、学生と比較しても似ている" - Sarsa et al., 2022