Core Concepts
新しい自動プログラム修正ツールによって生成されたパッチの正確性を評価するために、大規模言語モデルを活用する方法が提案されています。
Abstract
この記事は、自動プログラム修正(APR)技術におけるパッチの正確性評価に焦点を当てています。APR技術が直面している過学習問題を解決するため、新しいまたは未知のAPRツールで生成されたパッチの正確性を自動的に評価する手法が提案されています。提案された手法は、既存のAPRツールで生成されたラベル付きパッチから知識を取得し、新しいAPRツールで生成された未ラベルのパッチの正確性を予測します。実験結果では、提案手法が従来の最先端技術よりも優れた成績を収めることが示されています。
構造:
自動プログラム修正(APR)技術と過学習問題
APR技術は過学習問題に直面している。
パッチ正確性評価へのアプローチ
新しいAPRツールで生成されたパッチの正確性を自動的に評価する方法が提案されている。
大規模言語モデル(LLM)とその活用方法
LLM4PatchCorrectは大規模言語モデルを使用してパッチの正確性を予測する。
実験結果と貢献度
提案手法が従来手法よりも優れた成績を収めることが示されている。
Stats
提案手法は平均84.4%の精度と86.5%のF1スコアを達成した。
著者らは22種類の既存APRツールから1,179個のパッチデータセットを使用した。