使用馬氏距離處理不完整數據的 K 均值聚類

核心概念

將插補法與馬氏距離整合到 K 均值聚類算法中，可以有效處理具有橢圓形狀集群的不完整數據集，並優於單獨插補或僅使用歐幾里得距離的方法。

摘要

書目資訊

Armah, L. K., & Melnykov, I. (2024, November 5). K-Means Clustering With Incomplete Data with the Use of Mahalanobis Distances. arXiv.org. https://arxiv.org/abs/2411.00870v1

研究目標

本研究旨在探討如何有效地將 K 均值聚類算法應用於具有缺失值，特別是具有橢圓形狀集群的數據集。

方法

研究人員擴展了現有的 K 均值聚類算法，將插補法和馬氏距離整合到單一目標函數中。他們在包含多達十個橢圓形集群的合成數據集以及 IRIS 數據集上進行了實驗。

主要發現

實驗結果顯示，與單獨執行插補法後再進行 K 均值聚類（使用馬氏距離或歐幾里得距離）以及其他近期整合插補法和聚類以處理不完整數據的 K 均值算法相比，本研究所提出的算法在調整蘭德指數 (ARI) 和標準化互信息 (NMI) 方面均表現更出色。

主要結論

本研究證實，對於具有缺失數據的橢圓形集群，使用馬氏距離並結合動態插補法的 K 均值聚類算法是更有效的選擇。

研究意義

本研究對於處理具有缺失值和非球形集群的數據集具有重要意義，並為改進 K 均值聚類算法的性能提供了新的思路。

局限性和未來研究方向

未來的研究方向包括開發專為橢圓形集群設計的插補技術，以及將該算法應用於具有更多缺失坐標的數據集。

統計資料

在具有 KNN 插補法的 IRIS 數據集上，當數據缺失率為 10% 時，K-Mahal 的 NMI 為 0.914，而 Unified K-means 和 K-means 的 NMI 為 0.758。
當數據缺失率增加到 50% 時，K-Mahal 的 NMI 仍保持在較高的 0.904，而 Unified K-means 和 K-means 的 NMI 分別降至 0.757 和 0.730。
對於合成數據集，當數據缺失率為 10% 且 ˇω=0.001 時，K-Mahal 的 ARI 達到 0.978，顯著優於 Unified K-means (0.888) 和 K-means (0.967)。
即使數據缺失率增加到 50%，K-Mahal 的 ARI 仍保持在較高的 0.895，顯示出對缺失數據的彈性。
當重疊度增加到 ˇω = 0.01 時，即使數據缺失率為 50%，K-Mahal 的 ARI 仍優於其他兩種算法，達到 0.761。

引述

"The Mahalanobis K-Means algorithm consistently outperforms the traditional K-Means algorithm in clustering data with non-spherical covariance structures and that it is particularly effective in scenarios where the clusters have different sizes and orientations, which are poorly handled by the Euclidean distance metric."
"Our results reinforce the finding that dynamically estimating missing entries during clustering is more effective than separating the imputation and clustering steps."

從以下內容提煉的關鍵洞見

K-Means Clustering With Incomplete Data with the Use of Mahalanobis Distances

by Lovis Kwasi ... 於 arxiv.org 11-05-2024

https://arxiv.org/pdf/2411.00870.pdf

深入探究

除了馬氏距離，還有哪些距離度量方法適用於具有橢圓形狀集群的數據集？

除了馬氏距離，以下距離度量方法也適用於具有橢圓形狀集群的數據集：

切比雪夫距離 (Chebyshev Distance): 切比雪夫距離是兩個向量在任何坐標維度上最大差值的絕對值。它對異常值不敏感，適用於形狀不規則的集群，包括橢圓形。
曼哈頓距離 (Manhattan Distance): 曼哈頓距離是兩個向量在標準坐標系上絕對軸距之和。它也適用於非球形集群，但在高維數據中可能不如馬氏距離有效。
閔可夫斯基距離 (Minkowski Distance): 閔可夫斯基距離是切比雪夫距離和曼哈頓距離的推廣，可以通過調整參數來適應不同的集群形狀。
自適應相似性度量 (Adaptive Similarity Measures): 一些算法可以根據數據學習自適應的相似性度量，例如，可以根據集群的協方差矩陣調整距離度量。
選擇最佳距離度量方法取決於數據集的具體特徵和應用需求。

如果數據集中的缺失值不是隨機分佈的，那麼該算法的性能會受到什麼影響？

如果數據集中的缺失值不是隨機分佈的（即存在缺失機制），那麼該算法的性能會受到負面影響，主要體現在以下幾個方面：

偏差 (Bias): 非隨機缺失可能會導致集群中心和協方差矩陣的估計產生偏差，進而影響聚類結果的準確性。例如，如果某個變量的缺失值主要集中在高值區域，那麼使用均值或KNN插值法可能會低估該變量的真實值，導致集群中心偏向低值區域。
降低效率 (Efficiency): 非隨機缺失可能會降低算法的效率，因為需要更複雜的插值方法或模型來處理缺失數據。
錯誤分類 (Misclassifications): 非隨機缺失可能會導致數據點被錯誤地分配到集群，特別是當缺失值與集群變量存在關聯時。
為了減輕非隨機缺失對算法性能的影響，可以考慮以下策略：

探索缺失機制: 分析缺失數據的模式，嘗試找出缺失機制，並根據缺失機制選擇合適的插值方法。
使用模型進行插值: 使用基於模型的插值方法，例如基於多重插補 (Multiple Imputation) 或基於最大似然估計 (Maximum Likelihood Estimation) 的方法，可以更好地處理非隨機缺失。
敏感性分析: 進行敏感性分析，評估不同插值方法和模型對聚類結果的影響，以選擇最穩健的方法。

如何將這種聚類算法應用於現實世界中的問題，例如圖像分割或客戶細分？

這種基於馬氏距離並處理缺失值的 K-Means 聚類算法可以應用於許多現實世界問題，以下是一些圖像分割和客戶細分的應用實例：
圖像分割 (Image Segmentation):

目標識別 (Object Recognition): 將圖像分割成不同的區域，例如前景和背景，可以幫助識別圖像中的目標。馬氏距離可以處理不同目標形狀的差異，而缺失值處理可以應對圖像中存在的噪聲或遮擋。
醫學影像分析 (Medical Image Analysis): 將醫學影像（例如 MRI 或 CT 掃描）分割成不同的組織或器官，可以幫助診斷疾病。馬氏距離可以處理不同組織或器官形狀和密度的差異，而缺失值處理可以應對影像中存在的偽影或缺失數據。
客戶細分 (Customer Segmentation):

市場營銷 (Marketing): 根據客戶的購買行為、人口統計信息和偏好將客戶分組，可以幫助企業制定更有針對性的營銷策略。馬氏距離可以處理不同客戶群體特徵的差異，而缺失值處理可以應對客戶信息不完整的情況。
風險管理 (Risk Management): 根據客戶的信用歷史、收入和其他財務信息將客戶分組，可以幫助金融機構評估和管理風險。馬氏距離可以處理不同風險等級客戶特徵的差異，而缺失值處理可以應對客戶信息缺失的情況。
在應用該算法時，需要根據具體問題選擇合適的數據預處理方法、距離度量方法和插值方法，並對算法的參數進行調整以獲得最佳性能。