LLMs Still Can't Avoid Instanceof: Investigating GPT-3.5, GPT-4, and Bard in OOP Assignments

Core Concepts

LLMs like GPT-3.5, GPT-4, and Bard struggle with adhering to best practices in Object-Oriented Programming (OOP) assignments.

Abstract

大規模言語モデル（LLMs）は、オブジェクト指向プログラミング（OOP）の課題で最適な実践を守ることに苦労しています。この研究では、GPT-3.5、GPT-4、およびBardの性能が検証されました。GPT-4は最も優れており、GPT-3.5がそれに続き、Bardが最後尾に位置していました。これらのモデルは一部のエラーを含む解決策を提供しましたが、基本的な構文エラーや複雑なオブジェクト指向プログラミングエラーもありました。

Stats

GPT-3.5は18回の対話を必要としました。
Bardは11回の対話を必要としました。
GPT-4は4回の対話で解決策を生成しました。

Quotes

"すべての学生がどこかで苦労し、何か間違いを犯したと言えるでしょう。" - Anonymous

Key Insights Distilled From

LLMs Still Can't Avoid Instanceof

by Bruno Pereir... at arxiv.org 03-12-2024

https://arxiv.org/pdf/2403.06254.pdf

Deeper Inquiries

情報源の品質が重要ですか？それがLLMのパフォーマンスに影響する可能性がありますか？

情報源の品質は非常に重要です。提供されたコード生成モデル（LLM）にとって、トレーニングデータやリソースの品質は大きな影響を与える可能性があります。例えば、Bardが参照したGitHubリポジトリー内で見つかった誤ったOOP例は、Bardの回答に悪影響を及ぼす可能性があります。そのため、適切な情報源を使用することで、より適切で信頼性の高いコード生成結果を得ることが期待されます。

それがLLMのパフォーマンスに影響する可能性がありますか

学生がLLMを使用してコード生成する際に発生しうる問題点は以下の通りです：

instanceofやgetClass()など明示的な型テストを使用してプログラム動作を決定する
抽象クラスとしてクラスを宣言しない
ビジネスルールを正しく特定および実装せず
toString()関数の必要形式に準拠しない
継承ベストプラクティスを適用せず
コード複製付き解決策提案
これらの問題点からわかるように、学生は基本的な構文エラーだけでなく、オブジェクト指向プログラミング（OOP）概念上でも課題に直面しやすい傾向があることが示唆されています。

LLMを使用してコード生成する際に学生が作成する可能性がある問題点は何ですか

プロジェクトベースの学習方法は教育者にとって非常に有益です。小規模な課題だけではなく、より複雑なコードや相互作用も含まれるプロジェクト評価も取り入れることで、学生は完全動作し且つオブジェクト指向設計原則も尊重した解決策取得まで求められます。
このアプローチでは段階的進化型プロジェクト納品方式採用し成長させ知識増強効果促進します。
将来的展望では大規模OOPタイプアサインメント処理能力測定等新手法開発予定また図表利用等新技術導入考察中です。