核心概念
大規模言語モデルはサイバーセキュリティ分野での応用可能性を示しているが、信頼性の問題も抱えている。本研究では、現実的なサイバーセキュリティシナリオに基づいた包括的なベンチマークを提案し、7つの最先端モデルの性能を評価する。
要約
本研究は、大規模言語モデル(LLM)のサイバーセキュリティ分野での応用可能性を包括的に評価するためのベンチマークを提案している。
まず、知識抽出、理解、推論の3つの側面から評価するタスクを設計した。知識抽出タスクでは、MITRE ATT&CKとCWEから多肢選択式の問題を作成した。理解タスクでは、2024年に公開されたCVEを使って真偽問題を作成した。推論タスクでは、CISA発行のセキュリティアドバイザリから危険度評価を行う問題を作成した。
次に、7つの最先端LLMモデル(ChatGPT-4、ChatGPT-3.5、Llama3-70b、Llama3-8b、Gemini-Pro、Mistral-7B、Mixtral-8x7b)を評価した。その結果、閉鎖型モデルのChatGPT-4とGemini-Proが全体的に優れた性能を示した。一方、オープンソースモデルのLlama3-70bも一部のタスクで良い結果を出した。
さらに分析を行い、以下の知見を得た:
- モデルの自信度と正答率に相関がある。自信度が低いほど正答率が下がる傾向がある。
- 閉鎖型モデルは、特に分布外タスクや問題解決タスクで優れた性能を示す。これは堅牢な安全対策によるものと考えられる。
- 推論過程の説明を求めると、モデルの性能が向上するが、推論時間も大幅に増加する。
- 小規模モデルは出力の変動が大きい傾向にある。
- 文脈がない場合、モデルは新しい脆弱性に関する情報を過度に肯定する傾向がある。一方、文脈がある場合は、情報を正しく活用できない可能性がある。
これらの知見は、LLMをサイバーセキュリティアドバイザとして信頼性高く活用するための課題を示している。
統計
成功した攻撃者は、ICSデバイスへの正当な制御メッセージの送信が可能になる。
CWE-22のパストラバーサル脆弱性は、LAquis SCADAで複数の方法で発生する。
CVE-2024-36039の脆弱性は、PyMySQLでJSONキーの不適切なエスケープが原因である。
引用
「大規模言語モデルはサイバーセキュリティ分野での応用可能性を示しているが、信頼性の問題も抱えている。」
「閉鎖型モデルは、特に分布外タスクや問題解決タスクで優れた性能を示す。これは堅牢な安全対策によるものと考えられる。」
「文脈がない場合、モデルは新しい脆弱性に関する情報を過度に肯定する傾向がある。」