透過特徵重要性分析和可解釋人工智慧增強網路釣魚檢測：CatBoost、XGBoost 和 EBM 模型的比較研究

核心概念

透過有效的特徵選擇和模型可解釋性，特別是利用 CatBoost 和 XGBoost 等機器學習演算法，可以顯著增強網路釣魚檢測系統的準確性和效率。

要約

文獻綜述

網路釣魚檢測中的特徵選擇

影響網路釣魚檢測模型效能的資料集特徵包括：

1. 基於 URL 的特徵： 這些特徵源自 URL 本身的特徵，例如 URL 長度、IP 位址的存在、HTTPS 的使用以及可疑關鍵字的存在。基於 URL 的特徵至關重要，因為它們可以快速分析，並且不依賴於網頁內容，使其適用於即時檢測。
2. 基於內容的特徵： 這些特徵涉及對網頁內容的深入分析，例如某些 HTML 標籤、JavaScript 函數和網頁結構的存在。基於內容的特徵通過分析呈現給使用者的實際內容，有助於識別模仿合法網站的網路釣魚網站。
3. 基於外部的特徵： 這些特徵依賴於第三方服務，例如 WHOIS 資訊、搜尋引擎索引和網頁排名。它們通過檢查網站的註冊詳細資訊、受歡迎程度和索引狀態，提供有關網站合法性的額外背景資訊。基於外部的特徵有助於交叉驗證網站的真實性。

特徵選擇在使用機器學習改進網路釣魚檢測方面發揮著至關重要的作用。它有助於識別最相關的特徵，在保持或提高準確性的同時降低模型複雜性和訓練時間。已經採用了各種特徵選擇技術，包括基於相關性的方法、包裝器技術和資訊增益和 TreeSHAP 等排名演算法。研究表明，特徵選擇可以顯著提高隨機森林、樸素貝葉斯和神經網路等演算法的分類準確性。然而，特徵選擇方法的有效性可能會因資料集和所選演算法而異。

雖然特徵選擇提高了效率和準確性，但重要的是要注意，某些方法在檢測零時差網路釣魚攻擊方面可能仍然存在困難。總體而言，特徵選擇對於開發高效且有效的網路釣魚檢測模型至關重要。

URL 和 HTML 特徵在網路釣魚檢測中的應用

多項研究強調了基於 URL 的特徵的重要性，例如可疑字元的存在、網域名稱年齡和 IP 位址資訊。此外，研究表明，結合 HTML 特徵（例如隱藏文字和表單操作 URL）可以進一步提高檢測準確性，從而強調了在不同資料集中實施有效網路釣魚檢測策略所需的多方面方法。此外，機器學習演算法與這些特徵集的整合顯著提高了整體檢測能力，這一點可以從以下研究結果中得到證明：當在網路釣魚檢測工作中結合使用 URL 和 HTML 特徵時，準確率超過 96%。此外，研究表明，將深度學習模型等先進技術與傳統特徵集相結合可以帶來更高的檢測率，這強調了網路釣魚防範方法需要不斷創新，才能在數字領域中領先於不斷發展的威脅。這表明，隨著網路釣魚技術變得越來越複雜，在特徵分析中應用成熟技術和新興技術對於構建針對此類攻擊的彈性防禦至關重要。此外，使用機器學習演算法和全面特徵集的組合的有效性反映了有效打擊網路釣魚所需策略的不斷演變，因為最近的研究表明，利用 URL 和 HTML 特徵可以顯著提高檢測效能和可靠性，使其成為強大的網路釣魚緩解系統的關鍵組成部分。

特徵重要性總結

特徵重要性分析雖然可以深入了解導致網路釣魚檢測的因素，但必須認識到其局限性和潛在缺點。僅依靠特徵重要性作為模型評估和部署的主要指標可能會導致對模型效能的過於簡化的理解，從而可能忽視其他關鍵方面，例如穩健性、泛化能力和適應性。

從本質上講，特徵重要性提供了模型決策過程的靜態快照，無法捕捉到網路釣魚攻擊的動態和上下文相關性。網路釣魚策略在不斷發展，今天被認為是有影響力的特徵在未來可能會過時，甚至可能產生不利影響。過分強調特徵重要性可能會導致開發出脆弱的模型，這些模型難以適應新出現的威脅模式，從而損害其在現實部署場景中的長期有效性。

此外，特徵重要性分析可能容易受到偏差的影響，尤其是在網路釣魚檢測中常見的複雜、高維資料集中。由於虛假相關性或模型無法捕捉潛在的因果關係，某些特徵可能看起來影響很大。這可能會導致優先考慮並非真正指示網路釣魚行為的特徵，從而可能損害模型的可靠性並導致誤報或漏報。

為了解決這些問題，必須採用更全面、更平衡的模型評估和部署方法。雖然特徵重要性仍然是一個有價值的指標，但應將其與其他效能指標（例如穩健性、泛化能力和可解釋性）結合起來考慮。通過採用多方面的評估框架，研究人員和從業者可以開發出不僅在識別已知網路釣魚威脅方面表現出色，而且在面對不斷變化的攻擊向量時也能保持其有效性的檢測系統，從而在最終使用者中建立信任和信心。

特徵重要性分析是開發有效網路釣魚檢測模型的關鍵組成部分。它可以深入了解導致準確識別網路釣魚嘗試的關鍵因素，從而能夠改進特徵集、有針對性的檢測機制和增強使用者意識。通過了解最具影響力的特徵，研究人員和安全專業人員可以專注於網路釣魚行為的相關指標，從而提高檢測系統的整體效能並減少誤報。提取和分析特徵重要性的能力是持續努力打擊日益嚴重的網路釣魚攻擊威脅的關鍵工具，它使利益相關者能夠獲得必要的知識，以開發和實施更強大、響應更快的防禦機制。此外，了解哪些特徵對網路釣魚檢測的影響最大，可以針對演算法設計和使用者教育策略進行有針對性的改進，最終營造一個資訊更靈通、更安全的線上環境。在這種情況下，理論見解和實際應用的綜合對於有效應對不斷變化的網路釣魚威脅至關重要，從而增強檢測系統的彈性和使用者意識倡議的有效性。

XAI 技術在特徵重要性分析中的應用

應用可解釋人工智慧 (XAI) 技術來增強網路安全，特別是在網路釣魚和惡意軟體檢測方面，旨在彌補基於 AI 的惡意軟體檢測系統缺乏可解釋性的問題，這種問題阻礙了它們在現實場景中的應用。流行的 XAI 方法包括 SHAP、LIME、LRP 和用於解釋基於 AI 的惡意軟體檢測系統的注意力機制。對於網路釣魚檢測，研究探索了使用可解釋增強機、玻璃盒模型和視覺化解釋。這些方法旨在提高網路安全環境中的使用者意識、信任和決策。

然而，一些研究表明，某些 XAI 方法可能會對整體系統效能產生意想不到的負面影響。在惡意軟體檢測中，基於 CNN 的模型與 LRP 相結合已顯示出對 Linux 系統的希望。總體而言，網路安全中的 XAI 既為改進防禦提供了機會，也為對抗性攻擊帶來了潛在的漏洞。

在網路釣魚檢測案例中，重要的是要識別影響網路釣魚行為的最重要特徵。利用 XAI 進行網路釣魚檢測中的特徵重要性提取的研究已顯示出可喜的成果。使用特徵選擇技術的機器學習模型在檢測網路釣魚網站方面取得了很高的準確性。已經提出了新的方法，例如用於特徵選擇的洛倫茲環帶，以增強模型的可解釋性。XAI 方法已被應用於解釋網路釣魚檢測結果，從而提高了使用者意識和信任度。研究探索了各種特徵提取和選擇技術，包括卡方、資訊增益率、PCA 和 LSA，以提高分類效能。已經開發了自動化特徵提取工具來識別網路釣魚網站的重要特徵。XAI 和特徵重要性提取方面的這些進展有助於建立更有效、更易於解釋的網路釣魚檢測系統，從而增強網路安全工作。

特徵重要性是網路釣魚檢測模型中的一個重要考慮因素，因為它可以深入了解導致準確識別網路釣魚嘗試的關鍵因素。了解最具影響力的特徵有助於開發有針對性且高效的檢測機制、完善特徵集以及增強使用者意識和教育。通過分析特徵重要性，研究人員和安全專業人員可以專注於網路釣魚行為的最相關指標，從而提高檢測系統的整體效能並減少誤報。提取和分析特徵重要性的能力是持續努力打擊日益嚴重的網路釣魚攻擊威脅的關鍵工具，它使利益相關者能夠獲得必要的知識，以開發和實施更強大、響應更快的防禦機制。

方法

解決研究問題的方法包括：

1. 從 UCI 網路釣魚網站、Kaggle 和 Mendeley Data 收集和載入資料集，這些資料集收集了不同數量的範例和特徵。收集的高品質資料集應乾淨、具有代表性、多樣化且標記良好，並具有相關且分佈良好的特徵。
2. 一些資料集在類別標籤分佈不平衡方面存在問題。理想的分佈應該是每個類別標籤佔 50%。這項工作採用 SMOTE 技術來克服這個問題。
3. 在特徵選擇過程之前，進行初始建模以恢復子集特徵的選擇。
4. 特徵選擇對於構建高效、可解釋和準確的機器學習模型至關重要。它可以降低複雜性、提高效能、防止過度擬合，並使模型更容易解釋。通過仔細選擇最相關的特徵，模型不僅變得更快、更可靠，而且更專注於資料中最重要

統計

大多數資料集的網路釣魚和合法範例分佈均衡，但也有一些資料集不均衡。
範例的數量各不相同，較大的資料集不一定更均衡。
較新的資料集往往具有更多特徵，雖然建立年份並不總是影響範例的數量，但它確實與更大的特徵差異相關。
對於最佳網路釣魚檢測，必須同時考慮資料集中特徵的平衡性和完整性。
基於 URL 的特徵在資料集中具有最多的特徵。
基於內容和基於外部的特徵少於基於 URL 的特徵。
特徵 length_url 出現次數最多，表明 URL 長度是網路釣魚檢測的關鍵指標。
其他經常出現的特徵（如 qty_slash_url、time_domain_activation 和 web_traffic）也很重要，特別是用於檢查 URL 特徵和網域資訊。
使用更多特徵的資料集並不一定會產生最佳的準確性。
選擇較少的特徵可以保持較高的準確性。
執行時間通常隨著資料集中特徵和範例數量的增加而增加，但这並不總是與模型準確性直接相關。
執行時間通常隨著特徵數量和資料集大小的增加而增加，但優化特徵選擇可以在不顯著影響準確性的情況下減少執行時間。
較大的資料集具有較長的執行時間，但通常會產生良好的準確性。
CatBoost 在大多數資料集上的準確性往往高於隨機森林。
對於資料集 ds_235795_54 和 ds_88K112，兩種模型都達到了相似的較高準確性，表明在某些資料集上具有穩定性。
最大的準確性差異出現在資料集 ds_100K20 中，其中 CatBoost 的效能優於隨機森林 3%。
在優先考慮執行時間的情況下，XGBoost 脫穎而出，成為效率最高的演算法，特別是對於較小的資料集，與 CatBoost 和隨機森林相比，它表現出更快的處理時間。
CatBoost 提供了較高的準確性和合理的執行時間效率的引人注目的組合，而 XGBoost 則擅長最大程度地減少執行時間。
EBM 模型中使用的特徵數量不一定決定其準確性或執行時間。
雖然 EBM 可以通過大量特徵實現較高的準確性，但執行時間會隨著資料集的增大而增加。
XGBoost 是最具擴展性的演算法，因為它可以高效處理大型資料集和高維資料，並且執行時間相對較短。
CatBoost 也具有高度擴展性，能夠處理大型資料集和許多特徵，同時保持較高的準確性和合理的執行時間。
隨機森林具有中等程度的擴展性，但由於執行時間和記憶體使用量的增加，在處理非常大的資料集和大量特徵時可能會遇到困難。
EBM 的擴展性最差，因為它的執行時間會隨著資料集和特徵的增加而顯著增加，這使得它主要適用於較小的資料集。
CatBoost 是最穩健的演算法，因為它在各種資料集上都能保持較高的準確性；它可以隨著資料集大小和特徵數量的增加而很好地擴展：它對特徵變化具有容忍度，並且可以在不顯著增加執行時間的情況下高效執行。
隨機森林在穩健性方面排名第二，但在執行時間和準確性方面變化更大。
XGBoost 在執行時間方面效率很高，但在準確性一致性方面缺乏穩健性。
EBM 的穩健性較差，因為它對執行時間很敏感，並且在較大的資料集上偶爾會出現效能下降。
XGBoost 和 CatBoost 都一致地將“length_url”、“time_domain_activation”和“Page_rank”識別為跨各種資料集的最具影響力的特徵。
XGBoost 表現出在某些資料集中嚴重依賴單一主導特徵（例如“URLSimilarityIndex”）的趨勢。
CatBoost 展示了一種更平衡的方法，其中多個特徵對其預測有顯著貢獻。
SHAP 分析揭示了某些特徵（如“URL_length”）如何影響預測的潛在偏差。
在“ds_100K20”資料集中觀察到的基於特徵值的不一致影響表明特徵影響中存在潛在偏差或非線性，值得進一步研究。
XGBoost 在所有資料集中始終表現出最短的執行時間，突出了其效率和可擴展性，特別是對於大型資料集。
CatBoost 通過在特徵減少的情況下保持準確性，展現了穩健性。
EBM 雖然準確，但由於執行時間長，尤其是在較大的資料集上，因此存在實際限制。

引用

抽出されたキーインサイト

Enhancing Phishing Detection through Feature Importance Analysis and Explainable AI: A Comparative Study of CatBoost, XGBoost, and EBM Models

by Abdullah Faj... 場所 arxiv.org 11-12-2024

https://arxiv.org/pdf/2411.06860.pdf

深掘り質問

除了文中提到的特徵外，還有哪些其他特徵可以有效地用於網路釣魚檢測？

除了文中提到的 URL 和 HTML 特徵外，以下是一些可以用於網路釣魚檢測的其他有效特徵：
一、基於網頁內容的特徵：

語言特徵： 分析網頁文字的語言風格，例如拼寫錯誤、語法錯誤、使用過多的驚嘆號或大寫字母等，這些都是網路釣魚網站常見的特徵。
情感分析： 分析網頁文字的情感傾向，例如是否使用恐嚇、威脅、緊急等情緒詞彙來誘騙使用者。
圖片分析： 分析網頁中使用的圖片，例如是否盜用合法網站的圖片、圖片解析度是否過低、圖片是否與網頁內容不符等。
二、基於使用者行為的特徵：

滑鼠移動軌跡： 分析使用者在網頁上的滑鼠移動軌跡，例如是否出現猶豫、不自然的移動軌跡，這些都可能是使用者對網站真實性產生懷疑的跡象。
鍵盤輸入模式： 分析使用者的鍵盤輸入模式，例如輸入速度、錯誤率等，這些特徵可以用於識別使用者是否在非自願的情況下輸入敏感信息。
網頁停留時間： 分析使用者在網頁上的停留時間，例如是否過短或過長，這些特徵可以用於判斷使用者是否對網頁內容產生興趣或產生懷疑。
三、基於外部資源的特徵：

域名黑名單： 利用已知的網路釣魚域名黑名單來識別可疑網站。
網站信譽評分： 利用網站信譽評分服務，例如 Google Safe Browsing、Web of Trust 等，來評估網站的可信度。
社交媒體分析： 分析社交媒體平台上的相關信息，例如是否出現與該網站相關的詐騙舉報、負面評價等。
需要注意的是，單獨使用任何一種特徵都無法完全準確地識別網路釣魚網站。因此，最有效的網路釣魚檢測方法是結合多種特徵，並利用機器學習等技術來建立綜合的檢測模型。

隨著網路釣魚技術變得越來越複雜，這些機器學習模型如何適應以保持其有效性？

面對日益複雜的網路釣魚技術，機器學習模型需要不斷進化才能保持其有效性。以下是一些可以採取的策略：
一、持續更新訓練數據：

動態收集最新網路釣魚樣本： 及時收集最新的網路釣魚網站樣本，並將其添加到訓練數據集中，以幫助模型學習最新的網路釣魚特徵和趨勢。
利用主動學習技術： 主動學習技術可以幫助模型自動識別和標記新的網路釣魚樣本，從而提高數據收集和標記的效率。
二、優化模型結構和算法：

採用更先進的機器學習算法： 例如深度學習、強化學習等，這些算法可以更好地處理複雜的數據模式和特徵交互。
使用集成學習方法： 集成學習方法可以結合多個模型的預測結果，從而提高整體的檢測準確率和穩定性。
三、引入新的特徵和數據源：

研究和提取新的網路釣魚特徵： 例如基於網頁內容、使用者行為、外部資源等新的特徵，以幫助模型更好地識別網路釣魚網站。
整合多源數據： 例如將網頁數據與社交媒體數據、域名註冊數據等結合起來，以構建更全面的網路釣魚檢測模型。
四、加強模型可解釋性和可調試性：

使用可解釋的機器學習技術： 例如 SHAP、LIME 等，這些技術可以幫助我們理解模型的決策過程，並識別出影響模型預測結果的关键因素。
建立模型監控和預警機制： 持續監控模型的性能指標，例如準確率、誤報率等，並在模型性能下降時及時發出預警，以便及時調整模型或更新訓練數據。
總之，面對不斷變化的網路釣魚威脅，機器學習模型需要不斷地學習和進化才能保持其有效性。通過持續更新訓練數據、優化模型結構和算法、引入新的特徵和數據源、加強模型可解釋性和可調試性等措施，可以幫助我們構建更加 robust 和 adaptive 的網路釣魚檢測系統。

我們如何在不損害使用者隱私的情況下收集和利用這些特徵來進行網路釣魚檢測？

在收集和利用特徵進行網路釣魚檢測時，保護使用者隱私至關重要。以下是一些可以在不損害使用者隱私的情況下收集和利用特徵的方法：
一、數據最小化原則：

只收集必要的數據： 僅收集與網路釣魚檢測直接相關的數據，避免收集與檢測目的無關的使用者個人信息。
數據去識別化： 在收集數據後，對數據進行去識別化處理，例如刪除或替換可以識別使用者身份的信息，例如姓名、地址、身份證號碼等。
二、數據匿名化和聚合：

數據匿名化： 對數據進行匿名化處理，使得無法通過數據追溯到特定使用者。例如，可以使用差分隱私技術對數據添加噪音，或使用 k-匿名化技術將數據泛化。
數據聚合： 將多個使用者的數據聚合在一起進行分析，例如統計網站的訪問量、使用者平均停留時間等，避免單獨分析特定使用者的數據。
三、聯邦學習技術：

分散式訓練模型： 聯邦學習技術允許在不共享數據的情況下，利用分散在不同設備上的數據訓練機器學習模型。
保護數據隱私： 由於數據不會離開使用者的設備，因此可以有效地保護使用者數據隱私。
四、獲得使用者同意和透明度：

明確告知使用者數據收集目的： 在收集數據之前，明確告知使用者數據收集的目的、方式、範圍以及數據的使用方式。
獲得使用者明確同意： 在收集和使用數據之前，獲得使用者明確的同意，並允許使用者隨時撤回同意。
五、數據安全和訪問控制：

加密存储和传输数据： 对收集到的数据进行加密存储和传输，防止数据泄露。
严格控制数据访问权限： 仅授权相关人员访问数据，并记录数据访问日志，确保数据不被滥用。
總之，在收集和利用特徵進行網路釣魚檢測時，必須將使用者隱私放在首位。通過遵循數據最小化原則、數據匿名化和聚合、聯邦學習技術、獲得使用者同意和透明度、數據安全和訪問控制等措施，可以有效地保護使用者隱私，同時又能利用數據提升網路釣魚檢測的準確性和效率。