소프트웨어 취약점 탐지를 위한 저장소 수준 평가 시스템 VulEval

Core Concepts

VulEval은 함수 수준과 저장소 수준의 취약점 탐지를 동시에 평가할 수 있는 통합 평가 시스템이다. 이를 통해 실제 개발 환경에서의 취약점 탐지 성능을 보다 정확하게 측정할 수 있다.

Abstract

VulEval은 소프트웨어 취약점 탐지를 위한 통합 평가 시스템으로, 다음 세 가지 상호 연결된 평가 과제로 구성된다:

1. 함수 수준 취약점 탐지: 코드 스니펫이 취약한지 여부를 예측하는 과제로, 함수 내부의 정보만을 활용한다.

2. 취약점 관련 종속성 예측: 코드 스니펫과 가장 관련성이 높은 종속성(callee, caller)을 식별하는 과제로, 개발자에게 취약점에 대한 설명을 제공한다.

3. 저장소 수준 취약점 탐지: 2번 과제에서 식별된 종속성 정보를 활용하여 함수 간 취약점을 탐지하는 과제로, 실제 개발 환경을 보다 잘 반영한다.

VulEval 데이터셋은 4,196개의 CVE 항목, 232,239개의 함수, 4,699개의 저장소 수준 소스 코드로 구성된다. 또한 347,533개의 함수 종속성과 9,538개의 취약점 관련 종속성을 포함한다.

실험 결과, 저장소 수준 취약점 탐지 방식이 함수 수준 방식에 비해 평균 1.51%의 F1 점수와 2.63%의 MCC 점수 향상을 보였다. 이는 취약점 관련 종속성 정보를 활용하면 취약점 탐지 성능이 향상됨을 의미한다. 또한 프로그램 분석 및 프롬프트 기반 방식은 시간 분할 설정에서도 성능이 유지되는 반면, 지도 학습 및 fine-tuning 기반 방식은 성능이 저하되는 것으로 나타났다. 마지막으로 어휘 기반 방식이 의미 기반 방식보다 취약점 관련 종속성 식별에 더 효과적인 것으로 확인되었다.

Stats

취약점이 있는 함수의 경우 잠금 상태 확인 없이 dd_unlock 함수를 호출하여 취약점이 발생할 수 있다.
dd_delete 함수에서도 dd 포인터의 유효성을 확인하지 않고 잠금 상태만 확인하여 취약점이 발생할 수 있다.

Quotes

"현재 평가 시나리오와 실제 취약점 탐지 시나리오 사이에는 격차가 존재한다."
"취약점이 여러 함수에 걸쳐 발생하는 복잡한 상황을 고려하지 않는다."

Key Insights Distilled From

VulEval: Towards Repository-Level Evaluation of Software Vulnerability Detection

by Xin-Cheng We... at arxiv.org 04-25-2024

https://arxiv.org/pdf/2404.15596.pdf

Deeper Inquiries

취약점 탐지 성능 향상을 위해 어떤 추가적인 정보를 활용할 수 있을까?

취약점 탐지 성능을 향상시키기 위해 추가적인 정보로는 취약점 관련 종속성을 활용할 수 있습니다. 이는 코드 스니펫과 관련된 외부 코드 함수들을 식별하고 분석하여 취약점을 더 잘 이해하고 탐지하는 데 도움이 될 수 있습니다. 취약점 관련 종속성을 고려함으로써 코드 리포지토리 전체에 대한 더 광범위한 이해를 제공하고 모델이 더 포괄적으로 코드 리포지토리를 이해할 수 있게 합니다. 이를 통해 취약점 탐지 모델이 더 효과적으로 작동하고 새로운 취약점을 식별하는 데 도움을 줄 수 있습니다.

취약점 탐지 방법의 성능 차이는 어떤 요인에 기인하는가?

프로그램 분석 및 프롬프트 기반 방식의 성능 차이는 주로 모델의 학습 방식과 데이터 처리 능력에 기인합니다. 프로그램 분석 방식은 사전 정의된 규칙이나 패턴을 활용하여 특정 유형의 취약점을 식별하는 데 중점을 두는 반면, 프롬프트 기반 방식은 대규모의 텍스트 데이터를 활용하여 일반적인 프로그래밍 지식을 습득하고 이를 특정 작업에 맞게 조정합니다. 이러한 차이로 인해 프로그램 분석 방식은 특정 유형의 취약점을 잘 식별할 수 있지만 다양한 유형의 취약점을 포괄적으로 탐지하는 능력이 제한될 수 있습니다. 반면 프롬프트 기반 방식은 일반적인 프로그래밍 지식을 활용하여 다양한 유형의 취약점을 탐지할 수 있지만 도메인 특정 지식이 부족할 수 있습니다.

취약점 관련 종속성 식별을 위한 새로운 접근 방식은 무엇이 있을까?

취약점 관련 종속성을 식별하기 위한 새로운 접근 방식으로는 그래프 기반 학습이나 심층 학습 기술을 활용하는 방법이 있습니다. 그래프 기반 학습은 코드의 구조적 특징을 그래프로 표현하고 이를 기반으로 취약점 관련 종속성을 식별하는 데 사용될 수 있습니다. 또한 심층 학습 기술을 활용하여 취약점 관련 종속성을 자동으로 추출하고 분석하는 방법도 효과적일 수 있습니다. 이러한 새로운 접근 방식은 취약점 탐지 성능을 향상시키고 보다 정확하고 효율적으로 취약점을 식별하는 데 도움을 줄 수 있습니다.