Conceitos Básicos
AGENTFL은 ChatGPT와 같은 LLM을 활용하여 프로젝트 전체 수준에서 결함이 있는 메서드를 자동으로 찾아내는 기술이다.
Resumo
AGENTFL은 결함 이해, 코드베이스 탐색, 결함 확인의 3단계로 구성된다.
결함 이해 단계에서는 테스트 코드 분석과 테스트 실패 분석을 통해 결함의 잠재적 원인을 파악한다.
코드베이스 탐색 단계에서는 문서 기반 검색과 관련 메서드 찾기를 통해 의심되는 클래스와 메서드를 점진적으로 식별한다.
결함 확인 단계에서는 다중 라운드 대화를 통해 의심되는 메서드들을 검토하고 가장 의심되는 메서드를 최종 결과로 선정한다.
AGENTFL은 Defects4J-V1.2.0 벤치마크에서 Top-1 기준 157개의 버그를 성공적으로 위치 추정하였으며, 기존 LLM 기반 접근법과 통계 기반 기술들을 모두 능가하는 성능을 보였다. 또한 사용자 연구와 비용 분석을 통해 AGENTFL의 실용성을 입증하였다.
Estatísticas
각 프로젝트에는 평균 4.93개의 테스트 유틸리티 메서드가 포함되어 있다.
Closure 프로젝트의 경우 평균 107.7개의 클래스가 테스트 케이스에 의해 커버된다.
AGENTFL은 평균 0.074달러와 97초의 비용으로 단일 버그를 위치 추정할 수 있다.
Citações
"because to make a decision about bug fixing I want to exactly know why the automated tool 'thinks' that the code has a bug"
개발자들은 결함 위치 추정 기술이 결함의 이유를 제공하는 것이 중요하다고 강조하였다.