大学レベルのコーディングコースにおける人間、GPT-3.5、およびGPT-4のパフォーマンスの比較

Concepts de base

AI生成作業は大学生の作業品質に近づくが、人間評価者によってしばしば検出可能である。

Résumé

Abstract:

ChatGPTバリアント（GPT-3.5とGPT-4）と学生作業を比較。
50人の学生提出物と50個のAI生成提出物を異なるカテゴリで比較。
学生は平均91.9%で最高得点を記録した。
Introduction:

大学カリキュラムでコーディングコースが普及。
物理学部では10週間のコーディングコースを実施。
Methodology:

物理学部で使用されたコーディング課題について評価。
AIと学生が書いたコードを盲目的に評価。
Results:

学生は平均91.1%を達成し、最高AIカテゴリは81.1%。
Prompt engineeringによりAIのスコアが向上。
Discussion:

最新LLMはまだ人間以上の能力を持たない。
AI生成プロットは人間作成プロットと区別可能。
Conclusion:

GPT-4はGPT-3.5よりも優れており、Prompt engineeringが性能を向上させることが示された。

Stats

50人の学生提出物と50個のAI生成提出物を異なるカテゴリで比較した結果、学生は平均91.9% (SE:0.4) を記録しました。
Prompt engineeringにより、GPT-4（p = 1.661 × 10−4）およびGPT-3.5（p = 4.967 × 10−9）のスコアが有意に向上しました。

Citations

"Students averaged 91.9%, surpassing the highest performing AI submission category, GPT-4 with prompt engineering."
"Prompt engineering significantly improved scores for both GPT-4 and GPT-3.5."

Idées clés tirées de

A comparison of Human, GPT-3.5, and GPT-4 Performance in a University-Level Coding Course

by Will Yeadon,... à arxiv.org 03-26-2024

https://arxiv.org/pdf/2403.16977.pdf

Questions plus approfondies

大学レベルでAI技術が進化する中、教育者はどのように授業内容や評価方法を再評価すべきですか？

この研究から明らかになったように、最新の言語モデル（LLMs）は物理学のコーディング課題で人間の能力を超えていないことが示されました。しかし、GPT-4がGPT-3.5よりも優れていることも確認されました。これはAI技術が着実に進歩しており、将来的には大学生の能力を上回る可能性があることを示唆しています。したがって、教育者は次の点を考慮すべきです。

Prompt Engineering: AIパフォーマンス向上のためにprompt engineering（プロンプトエンジニアリング）手法を活用する重要性。本研究ではprompt engineeringが有効であることが示されました。

適切なバランス: AIと人間の協力関係や役割分担を適切に設計し、AI使用量や介入度合いを管理する必要性。

クリエイティブ思考: 学生作成物とAI生成物を区別する際に見られたクリエイティブなデザイン選択肢や個々の決定事項への注目。これらは学生作品特有であり、AI生成コンテンツから差別化させるポイントでもあります。

Academic Integrity: AI使用時のアカデミック・インテグリティー保護策導入。pre-processing処理等で人間干渉度合いや影響範囲等も含めて厳格な規制強化。

以上から、教育者は今後ますます発展するAI技術へ対応し、「Laboratory Skills and Electronics」課題その他授業内容及び評価方法全体的な再検討・改善・更新 を行う必要性 があります。

反対意見

この研究結果から考えられる反対意見として以下の点が挙げられます：

完全自動化支持派：一部分野では既存システムより高精度だった場合でも完全自動化支持論者から異論提起され得る。

未来予測不確実性：現段階ではまだGPT-4等も人間水準以上表現出来ておらず将来的成功確信感欠如派

個々差異無視：マーカー同士相互比較した場合良好結果出ていますけどそれ以外面では問題多数指摘可能

これら反対意見からも議論余地ありそうです。

技術革新影響

技術革新（例えばAI）は教育システムだけでなく他分野でも大きな影響及ぼします。
1．産業界変革: 自動運転車両開発, 医療画像解析, 証券取引オートメーション 等各種産業界域内利用先増加.
2．社会変容: テレビ医療診断, スマート都市監視 ソフトウェア 活用, 偽造阻止 高精細映像解析 等社会基盤整備向け広範囲利用.
3．倫理問題: プライバシー侵害 問題, アルゴリズム偏在 発生原因問わざる所 公正公平原則 守備難易度増加.
従って，技術革新及びその普及拡大率速さ増加時代背景下，各方面包括的議論展開重要 思想深掘推奨致します 。