大規模言語モデルのプログラミング支援能力は、従来の静的ベンチマークだけでなく、実際のプログラマーの生産性にも影響する。一方で、ユーザー嗜好指標は必ずしも生産性と相関しない。
メソッドレベルのコメントは、メソッド署名を超えた補足的な情報を提供することが期待されるが、その補足的情報の程度は大きく異なる。本研究では、この補足的性質を定量的に評価するMESIA指標を提案し、既存の自動コメント生成手法の性能を分析し、MESIAを活用して大規模補足情報コメントの生成を改善する。
プログラマーが生成されたコードを理解するための軽量な説明を提供するIvieは、コード理解を向上させることができます。