大規模言語モデルのプログラマーサポート能力の評価 - RealHumanEvalを用いた実証的研究

大規模言語モデルのプログラミング支援能力は、従来の静的ベンチマークだけでなく、実際のプログラマーの生産性にも影響する。一方で、ユーザー嗜好指標は必ずしも生産性と相関しない。