大規模言語モデルのコード編集機能の包括的な評価フレームワーク「CodeEditorBench」

CodeEditorBenchは、大規模言語モデルのコード編集能力を包括的に評価するための新しい評価フレームワークである。デバッグ、翻訳、最適化、要件変更などの実世界のコード編集タスクを網羅し、19種類の大規模言語モデルの性能を詳細に分析している。