基於域名的無監督學習識別 TLS 客戶端

Concepts de base

本文提出 Clid，一種基於無監督學習的 TLS 客戶端識別工具。Clid 利用伺服器名稱指示 (SNI) 欄位中的域名資訊，通過聚類和關聯分析的方式，為各個客戶端識別出最相關的域名集合。這種方法不需依賴硬編碼的資料庫，能夠識別更廣泛的客戶端類型。

Résumé

本文提出了 Clid，一種基於無監督學習的 TLS 客戶端識別工具。Clid 的設計目標是在識別廣泛客戶端的同時，不過度追求每個客戶端的精確特徵。

Clid 的工作流程如下:

1. 從 TLS 連接中提取客戶端的 TCP 指紋(包含 IP 標誌、TTL、TCP 窗口大小等參數)作為客戶端的唯一標識。
2. 使用 DBSCAN 聚類算法對客戶端和域名分別進行聚類。通過貝葉斯優化找到最佳的聚類參數。
3. 計算每個客戶端聚類與域名聚類之間的關聯強度(權重)。權重公式考慮了域名的訪問頻率和獨特性。
4. 為每個客戶端聚類識別出與之最相關的域名聚類。

Clid 的實驗結果顯示,在 10,000 個 TLS 連接中,Clid 能夠為最多 90% 的客戶端聚類識別出單一最相關的域名聚類。對於至少 60% 的客戶端聚類,Clid 能夠識別出一個或多個相關的域名聚類。

雖然 Clid 無法提供每個客戶端的精確特徵,但它能夠為廣泛的客戶端提供一些有價值的信息,比如可能的操作系統、設備類型等。這種方法彌補了現有基於硬編碼資料庫的客戶端識別工具的不足。

Stats

在 2,000 個 TLS 連接中,最多 50.1% 的客戶端 TCP 指紋出現在任一現有資料庫中。
在 2,000 個 TLS 連接中,平均只有 13.6% 的客戶端 TCP 指紋出現在任兩個資料庫中,只有 5.85% 出現在全部三個資料庫中。
在 2,000 個 TLS 連接中,只有 3.05% 的客戶端被所有三個資料庫識別為相同的操作系統。

Citations

"我們看到,一個新的工具,不依賴於資料庫,是需要的,以提供更準確和可靠的關於客戶端操作系統的信息,以及更多關於 TLS 客戶端的特徵。"
"Clid 不是要能夠確定性地聲稱一個客戶端是某種特定的東西。相反,Clid 識別客戶端與他們連接的某些域名之間的強烈關聯,這可以作為識別客戶端的第一步。"

Idées clés tirées de

Clid: Identifying TLS Clients With Unsupervised Learning on Domain Names

by Ihyun Nam, G... à arxiv.org 10-04-2024

https://arxiv.org/pdf/2410.02040.pdf

Questions plus approfondies

如何進一步提高 Clid 識別客戶端的準確性和可靠性?

要進一步提高 Clid 識別客戶端的準確性和可靠性，可以考慮以下幾個策略：

增強數據集的多樣性：擴大收集的 TLS 連接數據集，涵蓋不同類型的客戶端和設備，特別是新興的 IoT 設備和操作系統。這樣可以提高模型對於各種客戶端的識別能力。

改進聚類算法：雖然 Clid 使用了 DBSCAN 聚類算法，但可以考慮引入其他先進的聚類技術，如基於圖的聚類或深度學習方法，來提高客戶端和域名之間的關聯性識別。

引入更多特徵：除了 SNI 字段，還可以考慮引入其他網路流量特徵，如 TCP/IP 參數、用戶代理字符串、TLS 配置等，這些特徵可以提供更全面的客戶端識別信息。

持續更新和維護模型：定期更新 Clid 的模型和算法，以適應不斷變化的網路環境和客戶端特徵，並利用增量學習技術來持續改進識別準確性。

結合人工智能技術：利用機器學習和深度學習技術，訓練模型自動識別和分類客戶端，並通過強化學習來優化識別過程。

除了域名,是否還有其他可以用於客戶端識別的網路流量特徵?

除了域名，還有多種網路流量特徵可以用於客戶端識別，包括：

TCP/IP 參數：如 TCP 標誌、窗口大小、初始序列號、TTL（生存時間）等，這些參數可以反映客戶端的操作系統和網路配置。

用戶代理字符串：雖然在加密流量中不易獲取，但在未加密的 HTTP 請求中，用戶代理字符串可以提供有關客戶端瀏覽器和操作系統的詳細信息。

TLS 握手信息：TLS 握手過程中交換的加密套件、版本和擴展信息，可以用來推斷客戶端的安全配置和潛在的操作系統。

流量模式：分析客戶端的流量模式和行為特徵，例如連接頻率、訪問時間和流量大小，可以幫助識別特定類型的設備或用戶行為。

DNS 查詢：客戶端發出的 DNS 查詢可以提供有關其訪問的服務和應用的線索，這些信息可以用來進一步推斷客戶端的身份。

Clid 的方法是否可以應用於其他網路安全和分析領域,例如異常行為檢測或網路威脅情報?

Clid 的方法確實可以應用於其他網路安全和分析領域，具體包括：

異常行為檢測：通過識別正常的客戶端行為模式，Clid 可以幫助檢測異常行為。例如，若某個客戶端突然開始訪問不常見的域名或發出異常的流量模式，則可能表明存在安全威脅。

網路威脅情報：Clid 可以用於收集和分析客戶端的連接信息，從而識別潛在的網路威脅。通過分析客戶端與可疑域名的連接，可以及早發現釣魚攻擊或惡意軟體的活動。

設備識別和管理：在企業網路中，Clid 可以幫助識別和管理連接到網路的各種設備，特別是在 IoT 設備日益增多的情況下，這對於網路安全管理至關重要。

流量分析和優化：通過分析客戶端的流量特徵，Clid 可以幫助網路管理員優化網路性能，識別流量瓶頸和資源使用情況。

合規性和審計：Clid 的客戶端識別能力可以用於合規性檢查和審計，確保網路中連接的設備符合安全政策和標準。