ThreatKG：一個基於人工智慧的開源網路威脅情報自動收集和管理系統

Q: 如何評估 ThreatKG 提取的威脅知識的可靠性和可操作性？

評估 ThreatKG 提取的威脅知識的可靠性和可操作性，可以從以下幾個方面入手： 可靠性： 準確率： 使用已標註的資料集，評估 ThreatKG 在實體識別和關係抽取方面的準確率（Precision, Recall, F1 score）。 特別關注系統在處理不同來源、格式和語言的 OSCTI 報告時的表現，以及對新型攻擊技術和 TTP 的識別能力。 一致性： 檢查 ThreatKG 融合來自不同來源資訊時的一致性，避免出現資訊衝突或重複。 評估系統對同一威脅事件或攻擊者的描述是否一致，以及是否能夠準確識別不同來源資訊中指涉同一實體的不同稱呼。 完整性： 評估 ThreatKG 構建的威脅知識圖是否涵蓋了足夠全面的威脅資訊，包括攻擊者、惡意軟體、漏洞、技術、工具和緩解措施等。 分析系統是否遺漏了重要的威脅資訊，以及是否能夠及時更新最新的威脅情報。 可操作性： 可用性： 評估 ThreatKG 的使用者介面是否友好，是否易於安全分析師理解和使用。 檢查系統提供的查詢和視覺化功能是否滿足實際需求，例如搜尋特定攻擊者、分析攻擊鏈路、追蹤威脅事件發展脈絡等。 時效性： 評估 ThreatKG 收集、處理和更新威脅資訊的速度，以及是否能夠及時應對新的威脅。 測試系統在處理大量 OSCTI 報告時的效率，以及是否能夠滿足實時威脅情報分析的需求。 行動價值： 評估 ThreatKG 提取的威脅知識是否能夠轉化為可行動的情報，例如提供給安全資訊與事件管理（SIEM）系統、入侵偵測系統（IDS）或安全運營中心（SOC）等，用於威脅偵測、響應和預防。 總之，評估 ThreatKG 的可靠性和可操作性需要綜合考慮多個因素，並結合實際應用場景進行測試和驗證。

Q: 在面對新型攻擊技術和不斷變化的攻擊模式時，ThreatKG 如何保持其有效性？

面對不斷演變的網路威脅，ThreatKG 需要持續更新和改進以保持其有效性。以下是一些具體措施： 持續學習： 利用機器學習技術，讓 ThreatKG 能夠從新的 OSCTI 報告中自動學習和識別新型攻擊技術、TTP 和攻擊模式。 採用主動學習策略，讓系統主動向安全分析師請求對新發現的威脅資訊進行標註，進一步提升模型的學習效率和準確性。 知識庫擴展： 不斷擴充 ThreatKG 的知識庫，納入最新的威脅情報、漏洞資訊、攻擊者資料等。 整合來自不同來源的威脅情報，例如商業威脅情報平台、安全社群論壇、暗網情報等，以獲取更全面和深入的威脅視角。 模型更新： 定期更新 ThreatKG 的實體識別和關係抽取模型，以適應新的語言模式、攻擊手法和威脅描述方式。 採用模組化設計，方便更新或替換系統中的特定模組，例如新增針對特定攻擊類型的識別模組，或更新實體連結和知識融合演算法。 社群協作： 鼓勵安全社群參與 ThreatKG 的開發和維護，例如貢獻新的威脅情報、標註資料、開發新的功能模組等。 建立威脅情報共享機制，讓 ThreatKG 能夠與其他安全工具和平台進行資訊交換，共同提升整體安全防禦能力。 持續學習、知識庫擴展、模型更新和社群協作是 ThreatKG 保持有效性的關鍵。透過不斷地學習和進化，ThreatKG 能夠更好地應對日益複雜的網路威脅，為安全防禦提供有力支援。

Q: ThreatKG 可以與其他安全工具和系統（例如安全資訊與事件管理（SIEM）系統）整合，以提供更全面的安全解決方案嗎？

是的，ThreatKG 可以與其他安全工具和系統整合，例如安全資訊與事件管理（SIEM）系統、入侵偵測系統（IDS）、安全運營中心（SOC）平台、漏洞掃描器等，以提供更全面的安全解決方案。以下是一些整合的可能性： 與 SIEM 系統整合： ThreatKG 可以將提取的威脅情報，例如攻擊者、惡意軟體、IP 地址、域名等，轉換為 SIEM 系統可識別的格式，例如 STIX（Structured Threat Information Expression）和 TAXII（Trusted Automated Exchange of Intelligence Information）。 SIEM 系統可以利用 ThreatKG 提供的威脅情報，更準確地關聯和分析安全事件，識別潛在的攻擊行為，並提升威脅告警的準確性和效率。 與 IDS 系統整合： ThreatKG 可以為 IDS 系統提供最新的攻擊特徵和行為模式，例如惡意軟體使用的網路協議、攻擊工具的特徵碼、攻擊者常用的 TTP 等。 IDS 系統可以利用 ThreatKG 提供的情報，更有效地偵測和攔截惡意流量，提升網路安全的防禦能力。 與 SOC 平台整合： ThreatKG 可以為 SOC 分析師提供威脅情報的視覺化分析和查詢功能，例如攻擊者画像、攻擊鏈路分析、威脅事件發展趨勢等。 SOC 分析師可以利用 ThreatKG 提供的情報，更快速地了解威脅態勢，制定有效的應急響應策略，並追蹤和溯源攻擊者的行為。 與漏洞掃描器整合： ThreatKG 可以為漏洞掃描器提供最新的漏洞資訊，例如 CVE 編號、漏洞描述、受影響的軟體版本等。 漏洞掃描器可以利用 ThreatKG 提供的情報，更準確地識別系統中存在的安全漏洞，並提供修復建議。 透過與其他安全工具和系統的整合，ThreatKG 可以將提取的威脅知識轉化為可行動的情報，提升整體安全防禦體系的效率和效果，構建更強大的主動防禦能力。

核心概念

本文介紹了一個名為 ThreatKG 的自動化系統，該系統利用人工智慧技術從公開來源收集和管理網路威脅情報，並構建動態更新的威脅知識圖譜，以應對不斷變化的網路威脅環境。

摘要

ThreatKG 系統概述

本文介紹了一個名為 ThreatKG 的自動化系統，旨在解決現有開源網路威脅情報（OSCTI）收集和管理方案的不足。ThreatKG 從多個來源收集大量 OSCTI 報告，使用基於人工智慧的技術提取高保真威脅知識，構建威脅知識圖譜，並通過持續提取新數據來更新知識圖譜。

系統架構

ThreatKG 採用模組化設計，包含三個主要階段：

OSCTI 報告收集： 使用網路爬蟲從威脅情報網站、安全部落格和新聞網站等多個來源收集報告。
威脅知識提取：
- 使用解析器將不同格式的報告轉換為統一的威脅知識表示法（UTKR）。
- 使用檢查器過濾掉不相關的報告，例如廣告或產品促銷。
- 使用基於規則和深度學習的提取器從報告中提取威脅實體（例如惡意軟體、漏洞、攻擊者）和關係。
威脅知識圖譜構建： 將提取的知識整合到 Neo4j 圖形資料庫中，形成一個動態更新的威脅知識圖譜。

系統優勢

全面的威脅建模： ThreatKG 採用分層威脅知識本體，涵蓋了廣泛的實體和關係，從而全面地對威脅進行建模。
準確的知識提取： ThreatKG 採用專門的深度學習技術來處理安全領域的特殊語言模式，並使用數據編程技術自動生成標註數據，從而提高知識提取的準確性。
高效的知識管理： ThreatKG 採用可擴展的系統架構，可以持續收集新報告、提取新知識並更新知識圖譜。

下游安全應用

ThreatKG 的威脅知識圖譜可以支持各種下游安全應用，例如：

威脅可視化和探索： ThreatKG 提供了一個圖形化使用者介面，允許分析師可視化、探索和搜索威脅知識圖譜。
問答系統： ThreatKG 包含一個問答系統，允許使用者使用自然語言查詢威脅知識圖譜。

總結

ThreatKG 是一個基於人工智慧的開源網路威脅情報自動收集和管理系統，它可以幫助安全分析師更有效地了解和應對不斷變化的網路威脅環境。

客製化摘要

使用 AI 重寫

產生引用格式

翻譯原文

翻譯成其他語言

產生心智圖

從原文內容

前往原文

arxiv.org

統計資料

引述

從以下內容提煉的關鍵洞見

ThreatKG: An AI-Powered System for Automated Open-Source Cyber Threat Intelligence Gathering and Management

by Peng Gao, Xi... 於 arxiv.org 11-01-2024

https://arxiv.org/pdf/2212.10388.pdf

ThreatKG: An AI-Powered System for Automated Open-Source Cyber Threat Intelligence Gathering and Management

深入探究

如何評估 ThreatKG 提取的威脅知識的可靠性和可操作性？

評估 ThreatKG 提取的威脅知識的可靠性和可操作性，可以從以下幾個方面入手：
可靠性：

準確率：

使用已標註的資料集，評估 ThreatKG 在實體識別和關係抽取方面的準確率（Precision, Recall, F1 score）。
特別關注系統在處理不同來源、格式和語言的 OSCTI 報告時的表現，以及對新型攻擊技術和 TTP 的識別能力。

一致性：

檢查 ThreatKG 融合來自不同來源資訊時的一致性，避免出現資訊衝突或重複。
評估系統對同一威脅事件或攻擊者的描述是否一致，以及是否能夠準確識別不同來源資訊中指涉同一實體的不同稱呼。

完整性：

評估 ThreatKG 構建的威脅知識圖是否涵蓋了足夠全面的威脅資訊，包括攻擊者、惡意軟體、漏洞、技術、工具和緩解措施等。
分析系統是否遺漏了重要的威脅資訊，以及是否能夠及時更新最新的威脅情報。
可操作性：

可用性：

評估 ThreatKG 的使用者介面是否友好，是否易於安全分析師理解和使用。
檢查系統提供的查詢和視覺化功能是否滿足實際需求，例如搜尋特定攻擊者、分析攻擊鏈路、追蹤威脅事件發展脈絡等。

時效性：

評估 ThreatKG 收集、處理和更新威脅資訊的速度，以及是否能夠及時應對新的威脅。
測試系統在處理大量 OSCTI 報告時的效率，以及是否能夠滿足實時威脅情報分析的需求。

行動價值：

評估 ThreatKG 提取的威脅知識是否能夠轉化為可行動的情報，例如提供給安全資訊與事件管理（SIEM）系統、入侵偵測系統（IDS）或安全運營中心（SOC）等，用於威脅偵測、響應和預防。
總之，評估 ThreatKG 的可靠性和可操作性需要綜合考慮多個因素，並結合實際應用場景進行測試和驗證。

在面對新型攻擊技術和不斷變化的攻擊模式時，ThreatKG 如何保持其有效性？

面對不斷演變的網路威脅，ThreatKG 需要持續更新和改進以保持其有效性。以下是一些具體措施：

持續學習：

利用機器學習技術，讓 ThreatKG 能夠從新的 OSCTI 報告中自動學習和識別新型攻擊技術、TTP 和攻擊模式。
採用主動學習策略，讓系統主動向安全分析師請求對新發現的威脅資訊進行標註，進一步提升模型的學習效率和準確性。

知識庫擴展：

不斷擴充 ThreatKG 的知識庫，納入最新的威脅情報、漏洞資訊、攻擊者資料等。
整合來自不同來源的威脅情報，例如商業威脅情報平台、安全社群論壇、暗網情報等，以獲取更全面和深入的威脅視角。

模型更新：

定期更新 ThreatKG 的實體識別和關係抽取模型，以適應新的語言模式、攻擊手法和威脅描述方式。
採用模組化設計，方便更新或替換系統中的特定模組，例如新增針對特定攻擊類型的識別模組，或更新實體連結和知識融合演算法。

社群協作：

鼓勵安全社群參與 ThreatKG 的開發和維護，例如貢獻新的威脅情報、標註資料、開發新的功能模組等。
建立威脅情報共享機制，讓 ThreatKG 能夠與其他安全工具和平台進行資訊交換，共同提升整體安全防禦能力。
持續學習、知識庫擴展、模型更新和社群協作是 ThreatKG 保持有效性的關鍵。透過不斷地學習和進化，ThreatKG 能夠更好地應對日益複雜的網路威脅，為安全防禦提供有力支援。

ThreatKG 可以與其他安全工具和系統（例如安全資訊與事件管理（SIEM）系統）整合，以提供更全面的安全解決方案嗎？

是的，ThreatKG 可以與其他安全工具和系統整合，例如安全資訊與事件管理（SIEM）系統、入侵偵測系統（IDS）、安全運營中心（SOC）平台、漏洞掃描器等，以提供更全面的安全解決方案。以下是一些整合的可能性：

與 SIEM 系統整合：

ThreatKG 可以將提取的威脅情報，例如攻擊者、惡意軟體、IP 地址、域名等，轉換為 SIEM 系統可識別的格式，例如 STIX（Structured Threat Information Expression）和 TAXII（Trusted Automated Exchange of Intelligence Information）。
SIEM 系統可以利用 ThreatKG 提供的威脅情報，更準確地關聯和分析安全事件，識別潛在的攻擊行為，並提升威脅告警的準確性和效率。

與 IDS 系統整合：

ThreatKG 可以為 IDS 系統提供最新的攻擊特徵和行為模式，例如惡意軟體使用的網路協議、攻擊工具的特徵碼、攻擊者常用的 TTP 等。
IDS 系統可以利用 ThreatKG 提供的情報，更有效地偵測和攔截惡意流量，提升網路安全的防禦能力。

與 SOC 平台整合：

ThreatKG 可以為 SOC 分析師提供威脅情報的視覺化分析和查詢功能，例如攻擊者画像、攻擊鏈路分析、威脅事件發展趨勢等。
SOC 分析師可以利用 ThreatKG 提供的情報，更快速地了解威脅態勢，制定有效的應急響應策略，並追蹤和溯源攻擊者的行為。

與漏洞掃描器整合：

ThreatKG 可以為漏洞掃描器提供最新的漏洞資訊，例如 CVE 編號、漏洞描述、受影響的軟體版本等。
漏洞掃描器可以利用 ThreatKG 提供的情報，更準確地識別系統中存在的安全漏洞，並提供修復建議。
透過與其他安全工具和系統的整合，ThreatKG 可以將提取的威脅知識轉化為可行動的情報，提升整體安全防禦體系的效率和效果，構建更強大的主動防禦能力。