Core Concepts
LLM을 사용하여 프로그램 디버깅을 개선하는 새로운 방법 소개
Abstract
대규모 언어 모델(Large Language Models, LLMs)이 코드 생성에서 중요한 진전을 이끌고 있음
LDB는 LLMs가 생성된 프로그램을 실행 중에 디버깅하여 개선하는 새로운 프레임워크
LDB는 프로그램을 기본 블록으로 분할하고 각 블록의 중간 변수 값을 추적하여 실행 중에 프로그램을 디버깅
실험 결과, LDB는 다양한 LLM 선택에서 코드 디버깅의 최첨단 성능을 달성
Stats
실험 결과에 따르면, LDB는 HumanEval, MBPP 및 TransCoder 벤치마크에서 기준 성능을 최대 9.8% 향상시킴
Quotes
"LLM을 사용하여 생성된 프로그램을 디버깅하는 새로운 프레임워크인 LDB를 소개합니다."
"실험 결과, LDB는 다양한 LLM 백본에서 코드 생성 정확도를 일관되게 향상시키고 다양한 LLM 선택에서 최첨단 성능을 달성합니다."