核心概念
AI支援プログラミングシステムを使用する際のユーザーの行動と時間コストを理解し、新しいインターフェースデザインと評価指標を提案する。
要約
本研究は、人工知能(AI)支援プログラミングシステムであるGitHub Copiloとの相互作用を理解するために行われた。研究者らは、プログラマーの一般的な活動を表す新しい分類法「CUPS」(CodeRec User Programming States)を開発した。21人のプログラマーを対象とした実験では、プログラマーがCopilotを使用する際の行動を詳細に分析した。
主な結果は以下の通り:
- プログラマーは、Copilotの提案を検証するのに全体の22.4%の時間を費やしており、これは新たに導入された作業である。また、提案を受け入れずに新しい機能を書く時間も14.5%あった。
- CUPSの状態遷移図を作成し、プログラマーの行動パターンを分析した。例えば、プロンプトの作成から提案の検証への遷移が高い確率で見られた。
- プログラマーは、提案を即座に検証せずに後で確認する「思考の先送り」を頻繁に行っていた。この状態では、提案を編集する確率が高くなることが分かった。
これらの分析結果から、Copilotとの相互作用における非効率な点を特定し、新しいインターフェースデザインや評価指標の提案につなげることができる。
統計
プログラマーは全体の22.4%の時間を提案の検証に費やしている
新しい機能を書く時間は全体の14.5%
提案を後で確認する「思考の先送り」の状態では、提案を編集する確率が0.53と高い
引用
"プログラマーは、Copilotの提案を検証するのに全体の22.4%の時間を費やしている"
"提案を後で確認する「思考の先送り」の状態では、提案を編集する確率が0.53と高い"