안드로이드용 정적 애플리케이션 보안 테스팅(SAST) 도구에 대한 종합적인 연구: 11가지 오픈소스 도구의 성능 비교 분석

Belangrijkste concepten

본 연구는 새롭게 구축된 CVE 기반 벤치마크 및 기존 합성 벤치마크를 활용하여 11가지 무료 안드로이드 SAST 도구의 성능을 분석하고, 도구 개발자와 사용자에게 실질적인 제안을 제공합니다.

Samenvatting

본 연구 논문은 안드로이드용 정적 애플리케이션 보안 테스팅(SAST) 도구의 성능을 종합적으로 분석하고 비교합니다. 연구진은 99개의 기존 정적 분석 도구 중 엄격한 기준에 따라 11개의 무료 오픈소스 안드로이드 SAST 도구를 선정했습니다. 이후, 각 도구의 메타데이터를 검토하여 다양한 취약점 유형을 67개의 일반/공통 유형으로 통합하고, 도구 보고서를 표준화된 형식으로 조정하여 자동화된 비교를 가능하게 하는 VulsTotal이라는 플랫폼을 개발했습니다.

연구 목표

본 연구는 다음과 같은 연구 질문에 답하고자 합니다.

• RQ1: SAST 도구는 VulsTotal에서 지원하는 통합된 취약점 유형을 얼마나 잘 커버하는가? 사용된 벤치마크에서 취약점 유형의 커버리지는 어떠한가?
• RQ2: CVE에 문서화된 안드로이드 취약점 환경은 선택된 SAST 도구에서 제공하는 커버리지와 일치하는가? GHERA 및 MSTG&PIVAA는 어떠한가?
• RQ3: 다양한 벤치마크에서 이러한 SAST 도구의 취약점 탐지 효과는 어떠한가? 이러한 도구는 동일한 취약점 유형에 대해 어떻게 작동하는가?
• RQ4: 이러한 SAST 도구의 시간 성능은 어떠한가?

방법론

연구진은 11개의 SAST 도구를 사용하여 GHERA, MSTG&PIVAA, 그리고 새롭게 구축된 CVE 기반 벤치마크를 스캔했습니다. CVE 기반 벤치마크는 292,776개의 CVE 항목을 수동으로 분석하여 구축되었으며, 250개의 안드로이드 관련 CVE와 229개의 APK, 34개의 취약점 유형을 포함합니다. VulsTotal 플랫폼을 사용하여 도구의 성능을 유형 커버리지, 유형 일관성, 탐지 효과 및 시간 성능과 같은 다양한 차원에서 평가했습니다.

주요 결과

• 취약점 유형 커버리지: 평가된 도구 중 어느 것도 67개의 통합된 취약점 유형을 모두 커버하지 못했으며, 가장 높은 커버리지는 67%에 불과했습니다.
• 취약점 유형 일관성: 합성 벤치마크(GHERA, MSTG&PIVAA)에 주입된 취약점 유형과 도구에서 지원하는 유형 간에 큰 차이가 있었습니다.
• 탐지 효과: 도구는 주로 패턴 매칭 방법을 사용하여 취약점을 탐지했으며, CVE 기반 벤치마크와 GHERA에서 발견된 시나리오 관련 논리적 취약점 유형(예: 입력 유효성 검사 취약점)을 탐지하는 데 어려움을 겪었습니다.
• 시간 성능: 바이트코드 기반 SAST 도구가 소스 코드 분석을 사용하는 대부분의 SAST 도구보다 빠르게 스캔했습니다.

결론

본 연구는 안드로이드 SAST 도구의 성능을 종합적으로 분석하고, 도구 개발자와 사용자에게 유용한 정보를 제공합니다. 특히, 단일 도구만으로는 포괄적인 취약점 스캔을 수행할 수 없으며, 여러 도구를 함께 사용하는 것이 중요하다는 것을 강조합니다. 또한, 기존 벤치마크와 실제 CVE 데이터 간의 불일치를 지적하고, 현실적인 벤치마크를 구축하는 것의 중요성을 강조합니다.

Statistieken

본 연구에서는 99개의 안드로이드 SAST 도구 중 11개의 무료 오픈소스 도구를 선정했습니다.
연구진은 67개의 일반/공통 취약점 유형을 정의했습니다.
APKHunt는 67개 유형 중 45개(67%)를 커버하여 가장 높은 커버리지를 보였습니다.
JAADAS는 15개 유형(22%)만 커버하여 가장 낮은 커버리지를 보였습니다.
CVE 기반 벤치마크는 250개의 CVE, 229개의 APK, 34개의 취약점 유형을 포함합니다.
"Use Invalid Server/Hostname Verification" 유형은 CVE에서 가장 많이 발견되었으며, 1,449개의 라벨이 할당되었습니다.

Citaten

Belangrijkste Inzichten Gedestilleerd Uit

A Comprehensive Study on Static Application Security Testing (SAST) Tools for Android

by Jingyun Zhu,... om arxiv.org 10-29-2024

https://arxiv.org/pdf/2410.20740.pdf

Diepere vragen

동적 분석 기술을 SAST 도구와 결합하여 시나리오 관련 논리적 취약점을 탐지하는 효과는 무엇일까요?

동적 분석 기술을 SAST 도구와 결합하면 시나리오 관련 논리적 취약점 탐지에 상당한 시너지 효과를 낼 수 있습니다. SAST는 주로 정적 코드 분석을 통해 알려진 취약점 패턴을 찾아내는 데 효과적이지만, 실제 애플리케이션 실행 흐름 속에서 발생하는 논리적 취약점을 놓칠 수 있습니다. 반면, 동적 분석은 애플리케이션을 실제로 실행하면서 발생하는 동작을 분석하여 SAST가 놓칠 수 있는 취약점을 찾아낼 수 있습니다.
구체적으로 다음과 같은 효과를 기대할 수 있습니다.

상호 보완적인 분석: SAST는 코드 내부 구조를 심층 분석하여 잠재적인 취약점을 찾아내고, 동적 분석은 실제 입력 값과 환경 변수를 사용하여 애플리케이션의 동작을 분석합니다. 이러한 두 가지 분석 방법을 결합하면 더욱 폭넓은 범위의 취약점을 탐지할 수 있습니다.
오탐 감소: SAST는 정적 분석의 특성상 실제로는 발생하지 않을 수 있는 취약점을 탐지하는 경우가 있습니다 (오탐). 동적 분석 결과를 함께 활용하면 실제 실행 경로와 데이터 흐름을 파악하여 오탐을 줄이고 분석의 정확성을 높일 수 있습니다.
시나리오 기반 취약점 탐지: 동적 분석은 사용자 입력, 외부 API 호출, 데이터베이스 연동 등 실제 애플리케이션 실행 환경을 시뮬레이션하여 분석을 수행합니다. 이를 통해 특정 시나리오에서만 발생하는 논리적 취약점, 예를 들어 특정 사용자 입력 값 조합에서 발생하는 인증 우회 취약점 등을 효과적으로 탐지할 수 있습니다.
결론적으로 SAST와 동적 분석 기술의 결합은 안드로이드 앱의 보안 취약점 탐지 능력을 향상시키는 데 매우 효과적인 방법입니다. 특히, 시나리오 관련 논리적 취약점과 같이 정적 분석만으로는 찾기 어려운 취약점을 효과적으로 탐지하여 안드로이드 앱의 보안성을 강화할 수 있습니다.

머신 러닝과 같은 새로운 기술을 활용하여 SAST 도구의 정확성과 효율성을 향상시킬 수 있을까요?

네, 머신 러닝은 SAST 도구의 정확성과 효율성을 향상시킬 수 있는 큰 잠재력을 가지고 있습니다. SAST 도구는 분석 규칙 기반으로 작동하기 때문에 필연적으로 오탐이 발생하고, 복잡한 코드 분석에는 많은 시간이 소요될 수 있습니다. 머신 러닝은 이러한 SAST의 단점을 보완하고 장점을 극대화하는 데 활용될 수 있습니다.
머신 러닝을 활용한 SAST 도구 개선 방안은 다음과 같습니다.

오탐 감소: 머신 러닝 모델을 학습시켜 실제 취약점과 단순 코드 오류를 구분하도록 하여 오탐을 줄일 수 있습니다. 예를 들어, 과거 취약점 데이터와 정적 분석 결과를 함께 학습하여 특정 코드 패턴이 실제 취약점으로 이어질 가능성을 예측하고, 개발자에게 수정 우선순위를 제공할 수 있습니다.
취약점 탐지 규칙 자동 생성: 머신 러닝을 사용하여 방대한 코드 데이터에서 새로운 취약점 패턴을 학습하고, 이를 기반으로 새로운 탐지 규칙을 자동으로 생성할 수 있습니다. 이는 SAST 도구가 새로운 유형의 취약점에 빠르게 대응하고 탐지 범위를 넓히는 데 도움을 줄 수 있습니다.
코드 분석 속도 향상: 머신 러닝 모델을 사용하여 분석해야 할 코드 영역의 우선순위를 정하고, 중요도가 낮은 부분을 걸러냄으로써 코드 분석 속도를 향상시킬 수 있습니다. 또한, 자주 사용되는 코드 라이브러리 또는 프레임워크에 대한 분석 결과를 캐싱하여 분석 시간을 단축할 수도 있습니다.
하지만 머신 러닝 적용 시 몇 가지 고려 사항이 존재합니다.

학습 데이터 편향: 머신 러닝 모델은 학습 데이터에 크게 의존합니다. 따라서, 편향된 데이터로 학습된 모델은 특정 유형의 취약점을 놓치거나 오탐을 생성할 수 있습니다. 다양한 종류의 취약점 데이터를 수집하고 균형 잡힌 데이터셋을 구축하는 것이 중요합니다.
설명 가능성: 머신 러닝 모델은 복잡한 내부 구조를 가지고 있어 결과에 대한 설명이 어려울 수 있습니다. 개발자가 머신 러닝 모델의 예측 결과를 신뢰하고 코드 수정에 활용하기 위해서는 모델의 판단 근거를 명확하게 제시할 수 있어야 합니다.
결론적으로 머신 러닝은 SAST 도구의 정확성과 효율성을 향상시킬 수 있는 유용한 기술이지만, 주의 깊게 적용해야 합니다. 학습 데이터의 품질을 높이고, 모델의 설명 가능성을 확보하며, 지속적인 성능 평가를 통해 머신 러닝 기반 SAST 도구의 신뢰성을 확보하는 것이 중요합니다.

안드로이드 앱 개발 프로세스 초기에 SAST 도구를 통합하여 보안 취약점을 조기에 발견하고 수정하는 것이 얼마나 효과적일까요?

안드로이드 앱 개발 프로세스 초기에 SAST 도구를 통합하는 것은 보안 취약점을 조기에 발견하고 수정하는 데 매우 효과적인 방법입니다. 개발 후반부에 발견된 취약점은 수정 비용이 기하급수적으로 증가할 수 있기 때문에, 개발 초기 단계부터 SAST 도구를 활용하여 지속적으로 코드를 분석하고 잠재적인 보안 문제를 해결하는 것이 중요합니다.
개발 프로세스 초기에 SAST 도구를 통합했을 때 얻을 수 있는 주요 이점은 다음과 같습니다.

보안 취약점 조기 발견 및 수정 비용 절감: 개발 초기 단계에서는 코드 변경이 잦고 범위가 제한적이기 때문에, 취약점을 수정하는 데 드는 시간과 비용을 최소화할 수 있습니다. 반대로, 개발 후반부에 심각한 보안 취약점이 발견될 경우, 이미 완성된 코드를 대폭 수정해야 할 수도 있으며, 이는 막대한 비용과 시간을 초래할 수 있습니다.
개발자 보안 인식 제고: 개발 초기 단계부터 SAST 도구를 사용하면 개발자들이 자연스럽게 보안에 대한 피드백을 받고, 안전한 코딩 방법을 익힐 수 있습니다. 이는 장기적으로 더욱 안전한 애플리케이션을 개발하는 데 도움이 됩니다.
DevSecOps 구축: SAST 도구를 CI/CD 파이프라인에 통합하면 코드 변경 시 자동으로 보안 검사를 수행하여 DevSecOps 환경을 구축할 수 있습니다. 이는 개발 프로세스 전반에 걸쳐 보안을 유지하고 지속적인 보안 강화를 가능하게 합니다.
SAST 도구를 개발 프로세스 초기에 통합하는 방법은 다음과 같습니다.

IDE 플러그인 활용: 개발 IDE에 SAST 플러그인을 설치하여 코드 작성 중 실시간으로 보안 취약점을 검사하고 즉시 수정할 수 있도록 합니다.
CI/CD 통합: 코드 커밋, 빌드, 배포 단계마다 자동으로 SAST 분석을 수행하도록 CI/CD 파이프라인을 구성합니다.
정기적인 보안 검사: 주기적으로 전체 코드베이스에 대한 SAST 분석을 수행하여 새로운 취약점 발생 여부를 확인하고 필요한 조치를 취합니다.
결론적으로 안드로이드 앱 개발 프로세스 초기에 SAST 도구를 통합하는 것은 개발 시간과 비용을 절감하고, 개발자의 보안 인식을 제고하며, 궁극적으로 더욱 안전한 애플리케이션을 개발하는 데 매우 효과적인 방법입니다. 따라서, 개발 초기 단계부터 적극적으로 SAST 도구를 도입하고 활용하는 것이 중요합니다.