利用威脅情報源偵測漏洞利用事件

核心概念

提出一個機器學習管道,能自動從威脅情報源中偵測漏洞利用事件。

摘要

本研究提出了一個機器學習管道,用於自動分析和分類威脅情報源(TI Feeds)中的資訊。管道首先利用最新的自然語言處理技術,如Doc2Vec和BERT,從TI Feeds中提取語義資訊。然後使用監督式機器學習模型,針對檢測漏洞利用事件進行分類。
研究首先對TI Feeds進行了縱向分析,發現不同TI Feeds在提供的資訊類型和時間特性上存在差異。為了建立分類模型的訓練和測試集,研究人員手動標記了部分事件,並利用事件標籤自動擴充了標記集。
在分類模型的設計上,研究採用了Naive Bayes、決策樹和AdaBoost等不同算法,並比較了使用預訓練模型(Doc2Vec和BERT)與針對TI Feeds數據進一步訓練的定制模型(TI2Vec和TIBERT)的效果。結果顯示,TIBERT模型在縱向和橫向評估中均取得了最佳的分類性能,F1值達到78%。
此外,研究還分析了不同IoC類別對分類性能的影響,發現將不同類別的IoC綜合使用可以取得最佳效果。最後,研究探討了分類模型在未見過的TI Feeds上的泛化能力,發現當訓練集和測試集的IoC重疊度較高時,分類性能會更好。
總的來說,本研究提出的自動化分析管道為利用TI Feeds進行漏洞風險評估和事件響應提供了有價值的工具。未來可進一步擴展到檢測其他類型的漏洞生命週期事件。

統計資料

TI Feeds中包含平均429.3個IoC的事件。
TI Feeds中有87%的IoC屬於網路活動、有效載荷傳遞和外部分析三大類。
不同TI Feeds之間IoC的重疊度和流向存在差異,有些Feeds主要是IoC的來源,有些則主要是匯聚者。

引述

"TI Feeds現已成為協作式數據驅動安全的基石。"
"大量新的威脅資訊每天都在發佈,手工篩選已變得不可行。"
"檢測野外漏洞利用事件對於風險評估和事件響應至關重要。"

從以下內容提煉的關鍵洞見

Harnessing TI Feeds for Exploitation Detection

by Kaja... 於 arxiv.org 09-13-2024

https://arxiv.org/pdf/2409.07709.pdf

深入探究

如何利用TI Feeds中的資訊來補充和改進現有的漏洞風險評估系統,如CVSS和EPSS?

在當前的安全環境中，漏洞風險評估系統如CVSS（Common Vulnerability Scoring System）和EPSS（Exploit Prediction Scoring System）提供了對漏洞的評估和預測。然而，這些系統的局限性在於它們通常依賴於靜態數據和有限的上下文信息。透過整合TI Feeds中的資訊，可以顯著提升這些系統的準確性和實用性。
首先，TI Feeds提供了有關漏洞在實際環境中被利用的即時數據，這些數據能夠補充CVSS的靜態評分。CVSS主要基於漏洞的技術特徵進行評分，而TI Feeds則能提供漏洞在野外的利用情況，這對於風險評估至關重要。透過將TI Feeds中的利用事件與CVSS評分結合，可以形成一個更全面的風險評估模型，這樣的模型能夠動態調整漏洞的風險評分，反映其在實際攻擊中的利用情況。
其次，EPSS旨在預測漏洞被利用的可能性，但其依賴的數據主要來自私有來源。通過引入TI Feeds中的開放數據，EPSS可以獲得更廣泛的上下文信息，從而提高其預測的準確性。TI Feeds中的信息可以幫助識別哪些漏洞在特定時間段內被廣泛利用，並且可以根據不同的組織需求進行過濾和調整，從而使EPSS的預測更具針對性。
最後，利用機器學習技術，通過自動化分析TI Feeds中的數據，可以進一步提升漏洞風險評估系統的效率。透過訓練分類模型來識別漏洞利用事件，組織可以快速獲取有關漏洞的最新信息，並根據這些信息及時調整其安全策略。

如何設計更加智能的分類模型,以應對TI Feeds中資訊的不確定性和噪音?

設計一個智能的分類模型以應對TI Feeds中的不確定性和噪音，需要考慮多個方面。首先，應用先進的自然語言處理（NLP）技術來處理和分析TI Feeds中的非結構化數據。使用如BERT和Doc2Vec等嵌入技術，可以有效捕捉文本中的語義信息，從而提高模型對於不同上下文的理解能力。
其次，考慮到TI Feeds中的數據可能存在噪音和不一致性，模型應具備一定的魯棒性。這可以通過引入集成學習方法來實現，例如使用AdaBoost等集成算法，這些算法能夠通過結合多個弱分類器來提高整體的分類性能。此外，模型應該能夠進行特徵選擇，過濾掉不相關或冗餘的特徵，以減少噪音對分類結果的影響。
再者，應用時間序列分析技術來考慮數據的時間性。由於TI Feeds中的信息是動態變化的，模型需要能夠根據時間窗口進行訓練和測試，以捕捉到最新的威脅趨勢。這樣的設計不僅能提高模型的準確性，還能使其在面對新出現的威脅時保持靈活性。
最後，持續的模型評估和更新也是至關重要的。通過定期檢查模型的性能並根據最新的TI Feeds數據進行再訓練，可以確保模型始終保持高效和準確。

TI Feeds中包含的其他類型事件,如惡意軟件分發、釣魚攻擊等,是否也可以利用類似的方法進行自動化分析?

是的，TI Feeds中包含的其他類型事件，如惡意軟件分發和釣魚攻擊，完全可以利用類似的方法進行自動化分析。這些事件同樣具有非結構化和多樣化的特徵，適合應用機器學習和自然語言處理技術來進行分類和識別。
首先，對於惡意軟件分發事件，可以使用文本嵌入技術來分析與惡意軟件相關的描述和指標，從而自動識別出潛在的惡意活動。通過訓練專門的分類模型，系統可以自動標記和分類這些事件，幫助安全專家快速響應。
其次，釣魚攻擊事件的分析也可以通過類似的方式進行。利用TI Feeds中的釣魚攻擊信息，模型可以學習識別釣魚郵件的特徵，如特定的關鍵詞、發件人地址和鏈接模式。這樣的自動化分析不僅能提高檢測的準確性，還能減少人工審查的工作量。
此外，這些自動化分析方法還可以與其他安全工具集成，例如入侵檢測系統（IDS）和安全信息事件管理（SIEM）系統，形成一個更全面的安全防護體系。通過實時分析TI Feeds中的各類事件，組織能夠更快地識別和應對各種安全威脅，從而提升整體的安全防護能力。