本研究では、OpenAI GPT-3.5-turboモデルを使用したLLMシステムの性能を評価した。XSS、Exploit.in、RAMPの3つのサイバー犯罪フォーラムから700件以上の日次会話を抽出し、LLMシステムに要約と10の主要なCTI変数の予測を行わせた。2人のコーダーが各会話を精査し、LLMによって抽出された情報の正確性を評価した。
LLMシステムは全体として良好な結果を示し、平均精度96.23%、平均適合率90%、平均再現率88.2%を達成した。ただし、物語や過去の出来事との区別、動詞テンスの扱い、大まかな概念の解釈など、改善の余地も見つかった。
全体として、本研究の結果は、LLMがサイバー脅威インテリジェンスに効果的に活用できることを示している。LLMは、サイバー犯罪フォーラムの膨大な情報から重要な洞察を抽出する際に、人間のアナリストを補完する強力なツールとなる可能性がある。
他の言語に翻訳
原文コンテンツから
arxiv.org
深掘り質問