一種用於事件後惡意軟體調查的新型強化學習模型

Основні поняття

該研究提出了一種基於強化學習的惡意軟體法醫分析模型，旨在提高事件後調查的效率，通過自動化分析過程和適應不斷變化的惡意軟體特徵來減少誤報。

Анотація

一種用於事件後惡意軟體調查的新型強化學習模型

這篇研究論文介紹了一種運用強化學習 (RL) 的新型模型，旨在優化網路事件回應過程中的惡意軟體鑑識調查。該模型旨在通過減少誤報並使當前實務做法適應不斷演變的惡意軟體特徵來提高鑑識調查的效率。

研究背景

在事件後惡意軟體鑑識調查中，惡意軟體的偵測和分類是重建證據檔案的關鍵過程。這是因為惡意軟體作為一種惡意程式，可能導致機密資訊遭到未經授權的訪問，危及資料或資訊系統的安全性和完整性，從而對相關系統和機構構成重大威脅。傳統的機器學習 (ML) 方法雖然被廣泛用於偵測各種惡意軟體，但日益複雜的惡意軟體可以繞過這些技術。

研究目標和問題

本研究旨在利用強化學習 (RL) 技術改進惡意軟體鑑識調查。主要重點是識別、分析和增強事件後調查的模型。因此，目標是加快鑑識過程，並減輕英國法律體系內的不公正現象。此外，本研究還試圖通過應用 RL 來改進基於啟發式和基於簽章的分析方法，從而增強整體網路安全措施。基於這些目標，本研究還旨在解決一個核心問題：強化學習模型在區分良性和惡意軟體方面的效果如何，以及有哪些潛在的改進空間？

研究方法

1. 實驗設置和資料集生成

為了實施和驗證所提出的強化學習惡意軟體調查框架，研究人員使用倫敦都會大學數位鑑識實驗室建立了一個全面的惡意軟體資料集。他們在一個安全的網路中設置了 13 台虛擬機器，以防止惡意軟體意外傳播。他們上傳了不同 ISO 檔案的 Windows 作業系統，以確保測試環境的多樣性。他們在每台虛擬機器中植入惡意軟體，拍攝了受感染和未受感染狀態的快照，並生成了 26 個 RAM 檔案。為了揭示惡意軟體的行為，他們使用 Volatility 框架分析了這些檔案。最後，他們建立了一個詳細的工作流程圖，以便於模型的訓練和驗證。

2. 惡意軟體工作流程圖建立

研究方法涵蓋了實驗設置、資料集生成和惡意軟體分析工作流程的開發。此工作流程是強化學習框架的核心，整合了資料收集、檢查和分析等技術。研究人員使用 Volatility 框架分析了來自 13 個版本的 Windows（包括受感染和未受感染的版本）的實時記憶體傾印，以偵測異常和惡意軟體痕跡。分析階段採用了靜態、基於簽章、基於行為的技術以及機器學習演算法。工作流程圖繪製了典型的惡意軟體行為，並改進了事件後鑑識調查，支援強化學習模型的訓練和驗證。

3. Q 學習術語

研究人員簡要定義了 Q 學習中的關鍵術語，包括環境、代理、狀態、動作、情節、Q 表、時間差分、學習率、策略、折扣因子和貝爾曼方程式。

4. 統一馬可夫決策過程 (MDP)

統一馬可夫決策過程 (MDP) 將所有 MDP 子部分整合到一個單一過程中，提供了一個全面的視角。這種綜合允許代理有效地在環境中導航，並就惡意軟體調查做出明智的決策。

5. 提出的 RL 事件後惡意軟體調查框架

強化學習事件後惡意軟體調查框架的六個主要部分包括資料收集、工作流程圖映射、MDP 模型實施、環境依賴關係、MDP 求解器以及持續學習和適應。

6. 演算法 1 - Q 學習演算法的實現

演算法 1 實現了 Q 學習，以訓練代理進行最佳決策。它初始化了一個零值 Q 表，表示代理對環境的理解，其中行是狀態，列是動作。

7. 演算法 2 - 在 MDP 環境中迭代學習率變化

演算法 2 是一種在多個環境中使用不同學習率 (LR) 訓練和儲存模型的演算法。

MDP 模型整合與實施

1. 對我們提出的三種 MDP 環境的概述

研究人員提出了三種 MDP 環境：BlankEnvironment、BlankEnvironment_with_Rewards 和 BlankEnvironment_with_Time，每種環境都有不同的獎勵機制來優化惡意軟體分析。

2. BlankEnvironment 的實現

BlankEnvironment 類別繼承自 gym.Env，表示其預期用途是作為一個健身房環境。

3. BlankEnvironment_with_Rewards 的實現

與 BlankEnvironment 相比，BlankEnvironment_with_Rewards 的實現完全不同。在 BlankEnvironment_with_Rewards 中，導致終止狀態的操作會獲得 2 的獎勵，而在 BlankEnvironment 中則會獲得 -0.04 的獎勵。

4. BlankEnvironment_with_Time 的實現

在 BlankEnvironment_with_Time 中，代理每一步都會受到更嚴重的負面獎勵 -0.1，而其他兩種環境中的標準懲罰為 -0.04。這種技術旨在鼓勵代理通過採取最直接的路徑來有效地識別惡意檔案，從而阻止任何多餘的操作。

5. 在學習率上迭代 MDP 環境

研究人員實現了一個 Python 代碼，並在一定範圍的學習率 (0.001-0.9) 上迭代了三個 MDP 環境。

測試與評估

1. 比較收斂速度

研究人員實現了一個 Python 代碼，以視覺化三種 MDP 環境（env_new1、env_new2 和 env_new3）的收斂速度，分別代表 BlankEnvironment、BlankEnvironment_with_Rewards() 和 BlankEnvironment_with_Time()。

2. 基於狀態的操作的命令定義

研究人員匯入了子流程模組，以允許 Python 腳本產生新的流程，並管理它們的輸入/輸出/錯誤管道和返回代碼。

結果與討論

1. 代理決策過程

研究人員實現了一個 Python 腳本，初始化了兩個列表，ideal_list 和 pred_list，其中包含表示我們強化學習 MDP 環境中特定狀態的操作的整數值。

2. 用於評估預測模型準確性的 Python 函數

為了比較預測操作與理想操作的準確性，研究人員實現了一個名為 get_acc 的 Python 函數。

3. get_acc 函數用於準確性計算

實現的 Python 函數 get_acc 處理由字典（q1_dict、q2_dict 和 q3_dict）表示的多個環境（env1、env2 和 env3）。

4. 繪製提出的模型命令執行時間

由於使用我們提出的強化學習事件後惡意軟體調查模型跟踪狀態變化，我們獲得了基於操作和著陸狀態的軌跡，這些軌跡控制著環境中一系列的狀態變化。

5. 研究結果和建議

本研究探討了使用強化學習 (RL) 進行事件後惡意軟體鑑識分析，強調了 RL 在適應不斷變化的惡意軟體威脅方面日益重要的作用。通過基於 Q 學習的結構化 RL 工作流程自動化鑑識任務，特別是惡意軟體痕跡識別，該模型可以有效地識別和分類惡意軟體。

結論

本文提出了一種用於事件後惡意軟體鑑識調查的新型強化學習 (RL) 模型和框架，旨在超越人類鑑識專家的能力。該模型通過整合各種技術（例如從 Windows 系統中提取實時記憶體傾印）來加速惡意軟體分析並識別已知和未知威脅。研究人員開發了一個統一的馬可夫決策過程 (MDP) 框架，該框架具有三種環境：BlankEnvironment、BlankEnvironment_with_Rewards 和 BlankEnvironment_with_Time，每種環境都有不同的獎勵機制來優化惡意軟體分析。RL 代理利用 Q 學習和 epsilon-greedy 探索，迭代地改進其策略和決策過程，從而提高惡意軟體識別的準確性。實驗測試（包括使用 WannaCry 和 Cerber 等惡意軟體進行的模擬）表明，效能取決於學習率和環境複雜性。該研究重點關注超參數調整和持續學習，以提高 RL 模型的效能。它表明，獎勵系統、特徵提取和混合分析都可以進一步優化。

Статистика

研究人員建立了一個全面的惡意軟體資料集，其中包含來自 13 個版本的 Windows 作業系統的實時記憶體傾印。
他們使用 Volatility 框架分析了這些檔案，以揭示惡意軟體的行為。
該模型基於一個統一的馬可夫決策過程 (MDP) 框架，該框架具有三種環境：BlankEnvironment、BlankEnvironment_with_Rewards 和 BlankEnvironment_with_Time。
他們使用了一系列學習率 (0.001-0.9) 來訓練和評估模型。
結果表明，BlankEnvironment_with_Rewards 環境在學習率為 0.4 時表現最佳。
該模型在識別和分類惡意軟體方面取得了很高的準確率，達到 94%。

Цитати

“在事件後惡意軟體鑑識調查中，惡意軟體的偵測和分類是重建證據檔案的關鍵過程。”
“強化學習模型在區分良性和惡意軟體方面的效果如何，以及有哪些潛在的改進空間？”
“該模型通過整合各種技術（例如從 Windows 系統中提取實時記憶體傾印）來加速惡意軟體分析並識別已知和未知威脅。”

Ключові висновки, отримані з

A Novel Reinforcement Learning Model for Post-Incident Malware Investigations

by Dipo Dunsin,... о arxiv.org 10-22-2024

https://arxiv.org/pdf/2410.15028.pdf

Глибші Запити

如何將此強化學習模型整合到現有的網路安全基礎設施中，以建立更強大的防禦系統？

將強化學習模型整合到現有的網路安全基礎設施中，可以通過以下幾種方式實現，從而建立更強大的防禦系統：

與安全資訊與事件管理系統（SIEM）整合： 強化學習模型可以作為 SIEM 系統的一個模組，利用其強大的事件關聯和分析能力，對 SIEM 收集到的安全事件進行更深入的分析，識別潛在的威脅和攻擊模式。
與入侵偵測系統（IDS）/入侵防禦系統（IPS）整合： 強化學習模型可以增強 IDS/IPS 的偵測和防禦能力。通過學習網路流量中的異常模式，模型可以更準確地識別惡意流量，並自動採取應對措施。
與端點偵測與回應（EDR）系統整合： 強化學習模型可以部署在終端設備上，通過分析終端行為，識別惡意軟體的行為特徵，並及時採取隔離和清除措施。
與威脅情報平台整合： 強化學習模型可以利用威脅情報平台提供的最新威脅資訊，例如惡意軟體樣本、攻擊手法等，不斷更新自身的知識庫，提高對新型威脅的識別能力。
建立基於強化學習的自動化安全運營中心（SOC）： 將強化學習模型應用於 SOC 的各個環節，例如威脅偵測、事件響應、安全策略優化等，可以實現安全運營的自動化和智慧化，提高安全事件的處理效率和準確性。

需要注意的是，在整合過程中，需要考慮模型的可擴展性、可靠性和安全性，以及與現有系統的相容性。

除了準確性之外，還有哪些其他指標可以用於評估此類強化學習模型在現實世界中的有效性？

除了準確性之外，評估強化學習模型在現實世界中的有效性，还需要考虑以下指標：

偵測速度： 在現實世界的網路攻擊中，及時性至關重要。模型需要快速準確地識別威脅，才能有效地阻止攻擊。
誤報率： 誤報率過高會浪費安全人員的時間和精力，降低安全防禦的效率。模型需要在保持高偵測率的同時，盡可能降低誤報率。
適應性： 網路攻擊手段不斷演變，模型需要具備適應性，才能有效應對新型威脅。這就要求模型能夠不斷學習新的攻擊模式，並根據環境變化調整自身策略。
可解釋性： 了解模型做出特定決策的原因對於安全分析師至關重要。可解釋性可以幫助分析師理解模型的行為，並對其進行優化和改進。
資源消耗： 模型的資源消耗，包括計算資源、存储资源和网络带宽等，也是評估其有效性的重要指標。高效的模型應該在保證性能的前提下，盡可能降低資源消耗。

在實際應用中，需要根據具體的安全需求和應用場景，選擇合適的指標組合來評估強化學習模型的有效性。

在設計和部署基於人工智慧的網路安全系統時，應如何解決道德和社會影響？

在設計和部署基於人工智慧的網路安全系統時，解決道德和社會影響至關重要。以下是一些需要考慮的關鍵方面：

數據隱私和安全： AI 模型需要大量的數據進行訓練和學習，而這些數據可能包含敏感的個人資訊。在設計和部署 AI 系統時，必須采取嚴格的數據安全和隱私保護措施，防止數據洩露和濫用。
偏見和歧視： AI 模型的訓練數據可能存在偏見，導致模型在決策時產生歧視性結果。例如，如果訓練數據中包含的攻擊者 mostly 来自特定地區，模型可能會對該地區的用戶產生偏見。因此，在設計和訓練 AI 模型時，需要盡可能消除數據中的偏見，並對模型的決策結果進行公平性評估。
透明度和可解釋性： AI 模型的決策過程通常是不透明的，難以理解其做出特定決策的原因。這就引發了透明度和可解釋性的問題。在設計 AI 系統時，需要考慮如何提高模型的可解釋性，讓用戶了解模型的決策依據。
責任和問責： 當 AI 系統出現錯誤或造成損害時，如何界定責任和進行問責是一個複雜的問題。在設計和部署 AI 系統時，需要預先考慮這些問題，並建立相應的責任機制。
社會影響： AI 技術的發展和應用可能會對社會產生深遠的影響，例如就業市場的變化、社會分層等。在設計和部署 AI 系統時，需要考慮這些潛在的社會影響，並采取措施 mitigate 負面影響。

解決這些道德和社會影響需要政府、企業、研究機構和社會公眾的共同努力。制定相關的法律法規、行業規範和倫理準則，加強 AI 技術的研發和應用，提高公眾對 AI 技術的認知和理解，都是解決這些問題的重要途徑。