Core Concepts
저장소 수준 컨텍스트는 프로그램 수리 작업에 중요하며, RLCE 방법은 LLM의 성능을 향상시킵니다.
Abstract
대형 언어 모델(Large Language Models, LLMs)이 저장소 수준 자동 프로그램 수리 작업에 대한 성능을 평가하는 연구를 소개합니다.
새로운 벤치마크 데이터 세트인 RepoBugs를 소개하고, RLCE 방법을 통해 저장소 수준 컨텍스트 추출을 제안합니다.
실험 결과는 RLCE가 LLM의 성능을 향상시키는 것을 보여줍니다.
다양한 측면에서 실험 결과를 분석하여 미래 연구에 유용한 통찰을 제공합니다.
INTRODUCTION
자동 프로그램 수리는 소프트웨어 공학 분야에서 중요한 과제입니다.
LLMs의 능력을 평가하기 위해 RepoBugs 벤치마크 데이터 세트를 소개하고, RLCE 방법을 통해 저장소 수준 컨텍스트 추출을 제안합니다.
BENCHMARK CONSTRUCTION
저장소 수준 APR 작업에 대한 LLMs의 성능을 효과적으로 평가하기 위해 필요한 데이터 세트를 소개합니다.
RepoBugs 데이터 세트는 GitHub의 오픈 소스 Python 저장소에서 파생되었습니다.
PROPOSED FRAMEWORK
RLCE 방법은 저장소 구조 파싱과 관련 컨텍스트 검색을 통해 저장소 수준 수리 작업을 위한 보다 정확한 컨텍스트를 제공합니다.
RLCE는 LLMs의 성능을 향상시키는 데 중요한 역할을 합니다.
Stats
저장소 수준 버그를 수리하는 데 사용되는 기본 컨텍스트 소스에 대한 정보가 포함되어 있습니다.
Quotes
"Providing repository-level context is helpful when dealing with repository-level bugs in LLMs."
"RLCE significantly enhances the performance of LLMs in repository-level program repair tasks."