المفاهيم الأساسية
本研究は、大学生コンピューターサイエンス専攻の学生が一般的に行うさまざまなタスクに対するGoogle Bard、ChatGPT(3.5)、GitHub Copilot Chat、Microsoft Copilotの強みと弱みを評価したものである。
الملخص
本研究は、大学生コンピューターサイエンス専攻の学生が一般的に行うさまざまなタスクに対するGoogle Bard、ChatGPT(3.5)、GitHub Copilot Chat、Microsoft Copilotの性能を包括的に評価したものである。
コード説明とドキュメンテーション:
- Microsoft Copilotが最も優れた性能を示した。詳細な説明と論理的な理由付けを提供できた。
- Google Bardは特にSQL問題で良い結果を出したが、Java/C++のコードでは課題があった。
- ChatGPTとGitHub Copilot Chatは中程度の性能だった。
クラスの課題:
- プログラミング課題: GitHub Copilot Chatが最も優れた性能を示した。
- 理論課題: Microsoft Copilotが最も優れた性能を示した。
- 人文科学課題: Microsoft Copilotが最も優れた性能を示した。
技術面接の準備:
- GitHub Copilot ChatとChatGPTが最も高い正解率を示した。
- Google Bardは正解率が最も低かった。
新しい概念とフレームワークの学習:
- Google Bardが最も優れた性能を示した。明確な説明と論理的な推論、最新の学術/業界情報を提供できた。
- ChatGPTは概念の説明に優れていた。
- GitHub Copilot Chatは非コーディングタスクでは課題があった。
- Microsoft Copilotは最新の関連情報を提供できたが、明確さと詳細さに欠けていた。
メール作成:
- ChatGPTが最も優れた性能を示した。明確さ、トーン、関連性、メールの構成に優れていた。
- Microsoft CopilotとGoogle Bardは中程度の性能だった。
- GitHub Copilot Chatはメール作成に適していなかった。