Core Concepts
예외 스택 트레이스 정보를 활용하여 실패 테스트 부재 상황에서도 효과적으로 결함 위치를 추정할 수 있다.
Abstract
이 연구는 실패 테스트가 부재한 상황에서 예외 스택 트레이스 정보를 활용하여 결함 위치를 추정하는 방법을 제안한다.
주요 연구 결과는 다음과 같다:
Defects4J 2.0 데이터셋에서 결함 보고서 중 3.33%만이 실패 테스트를 포함하고 있어, 전통적인 스펙트럼 기반 결함 위치 추정 기법의 효과가 제한적임을 확인했다.
연구 대상 버그 중 98.3%의 경우 버그 수정 의도가 스택 트레이스의 예외 처리와 직접 관련되어 있었으며, 78.3%의 버그 메서드가 스택 트레이스에서 평균 0.34 메서드 호출 거리 내에 있었다. 이를 통해 스택 트레이스가 결함 위치 추정에 유용한 정보를 제공함을 확인했다.
제안한 SBEST 기법은 기존 스택 트레이스 기반 순위화 기법 대비 MAP 32.22%, MRR 17.43% 향상을 보여, 스택 트레이스와 테스트 커버리지 정보를 통합하여 결함 위치 추정 성능을 높일 수 있음을 입증했다.
Stats
실패 테스트가 있는 버그 보고서는 전체의 3.33%에 불과하다.
버그 수정 의도의 98.3%가 스택 트레이스의 예외 처리와 직접 관련되어 있다.
버그 메서드의 78.3%가 스택 트레이스에서 평균 0.34 메서드 호출 거리 내에 있다.
Quotes
"실패 테스트가 부재한 상황에서 전통적인 스펙트럼 기반 결함 위치 추정 기법의 효과가 제한적이다."
"스택 트레이스가 결함 위치 추정에 유용한 정보를 제공한다."
"SBEST 기법은 기존 스택 트레이스 기반 순위화 기법 대비 MAP 32.22%, MRR 17.43% 향상을 보였다."