mDAE：針對缺失數據插補的改進型去噪自編碼器

核心概念

mDAE方法通過修改損失函數和簡化超參數選擇過程，有效提高了DAE在缺失數據插補方面的性能，並在多個UCI數據集上取得了與SoftImput和missForest等頂尖方法相當的結果。

摘要

文獻綜述

• 缺失數據是各個領域普遍存在的挑戰，通常需要在執行機器學習方法之前解決這個問題。
• 缺失數據插補是一種常見的解決方案，它使用觀察到的數據來估計缺失的條目。
• 現有的插補方法包括基於標準機器學習的方法（如k近鄰、矩陣分解、鏈式方程多重插補、MissForest）和基於深度學習的方法（如生成對抗網絡、變分自編碼器、去噪自編碼器）。
• 本文提出了一種基於去噪自編碼器（DAE）的改進方法mDAE，用於插補數值表格數據中的缺失值。

mDAE 方法

• 自編碼器（AE）是一種人工神經網絡，用於學習無標籤數據的有效表示（編碼）和從編碼表示重建輸入數據的解碼函數。
• 去噪自編碼器（DAE）是AE的一種變體，旨在通過破壞標準AE的輸入來從噪聲數據中恢復原始數據。
• mDAE方法通過修改損失函數來解決先前基於DAE的插補方法中存在的問題，即DAE學習重建預插補值而不是實際缺失值。
• mDAE方法還提出了一種通用的基於網格搜索的超參數選擇方法，包括噪聲比例µ和網絡結構。

數值研究

• 本文使用UCI機器學習庫中的七個完整表格數據集對mDAE方法進行了評估。
• 評估指標為重建缺失值的人工添加的均方根誤差（RMSE）。
• 消融研究表明，使用修改後的損失函數和過完備結構可以顯著提高mDAE方法的性能。
• 與其他八種插補方法（四種基於標準機器學習，四種基於深度學習和最優傳輸）的比較表明，mDAE方法在多個數據集和不同類型的缺失數據機制（MCAR、MAR、MNAR）下均表現良好。
• 本文還提出了一種新的指標，稱為平均最佳距離（MDB），用於衡量一種方法在所有數據集上的整體表現。

總結

• mDAE方法通過修改損失函數和簡化超參數選擇過程，有效提高了DAE在缺失數據插補方面的性能。
• 在多個UCI數據集上，mDAE方法取得了與SoftImput和missForest等頂尖方法相當的結果。
• 未來的工作包括將mDAE方法擴展到塊狀缺失值，並進一步研究基於深度學習和最優傳輸的插補方法的性能。

統計資料

本文使用了七個來自UCI機器學習庫的數據集，包括乳腺癌診斷、聲納、電離層、輸血、種子、氣候模型崩潰和葡萄酒質量。
研究中考慮了三種缺失數據機制：完全隨機缺失 (MCAR)、隨機缺失 (MAR) 和非隨機缺失 (MNAR)。
人工缺失值的比例設定為 20% 和 40%。
評估指標為重建缺失值的均方根誤差 (RMSE)。
消融研究比較了 mDAE 方法在使用和不使用修改後的損失函數、優化後的超參數 µ 和過完備結構的情況下的性能差異。
與其他方法的比較使用了平均最佳距離 (MDB) 指標來衡量方法在所有數據集上的整體表現。

引述

"This paper introduces a methodology based on Denoising AutoEncoder (DAE) for missing data imputation."
"This paper proposes a modified Denoising AutoEncoder (mDAE) dedicated to imputing missing values in numerical tabular data."
"This numerical study is completed by comparing the mDAE methodology with eight other methods (four standard and four more recent)."
"According to this criterion, the mDAE methodology was consistently ranked among the top methods (along with SoftImput and missForest), while the four more recent methods were systematically ranked last."

從以下內容提煉的關鍵洞見

mDAE : modified Denoising AutoEncoder for missing data imputation

by Mariette Dup... 於 arxiv.org 11-21-2024

https://arxiv.org/pdf/2411.12847.pdf

深入探究

mDAE 方法如何處理混合型數據（包含數值型和分類型變量）中的缺失值？

mDAE 方法本身主要針對數值型數據的缺失值插補。對於混合型數據，直接應用 mDAE 會遇到困難，因為它依賴於數值計算，例如計算歐式距離和均方誤差。
為了處理混合型數據，可以考慮以下方法：

數據轉換: 將分類型變量轉換為數值型變量。常用的方法包括：

獨熱編碼 (One-Hot Encoding): 為每個類別創建一個新的二元變量，如果該樣本屬於該類別，則該變量為 1，否則為 0。
標籤編碼 (Label Encoding): 為每個類別分配一個唯一的整數值。
序數編碼 (Ordinal Encoding): 如果類別之間存在順序關係，則可以根據順序分配數值。

分別處理: 將數值型和分類型變量分開處理。可以使用 mDAE 插補數值型變量的缺失值，使用其他方法（例如，基於決策樹或模型的方法）插補分類型變量的缺失值。

混合模型: 使用能夠同時處理數值型和分類型變量的模型進行插補。例如，可以使用變分自编码器 (VAE) 的變體，例如 Conditional VAE (CVAE) 或 Gaussian Mixture VAE (GMVAE)，這些模型可以處理混合型數據。

需要注意的是，數據轉換可能會導致信息損失或引入偏差，因此需要根據具體問題選擇合適的方法。

與其他基於深度學習的插補方法相比，mDAE 方法在處理高維數據時是否具有計算效率？

與其他基於深度學習的插補方法（例如，基於 GAN 或 VAE 的方法）相比，mDAE 方法在處理高維數據時具有一定的計算效率優勢。

結構簡單: mDAE 的網絡結構相對簡單，通常只包含少數幾個隱藏層。這使得 mDAE 的訓練和推理速度相對較快。
計算量小: mDAE 的損失函數和訓練過程設計簡潔，計算量相對較小。
易於優化: mDAE 的訓練過程可以使用標準的梯度下降算法進行優化，並且通常比較容易收斂。
然而，mDAE 的計算效率也受到數據維度和模型複雜度的影響。當數據維度非常高時，mDAE 的訓練時間和内存消耗也會增加。
總體而言，與其他基於深度學習的插補方法相比，mDAE 方法在處理高維數據時具有一定的計算效率優勢，但需要根據具體問題和數據集的特點進行評估和選擇。

如果將 mDAE 方法應用於實際問題中的缺失數據插補，例如醫療記錄分析或金融數據預測，其效果如何？

mDAE 方法在實際問題中的缺失數據插補中具有一定的應用潛力，例如醫療記錄分析或金融數據預測。
醫療記錄分析:

醫療記錄數據通常包含大量的缺失值，例如患者的檢查結果、診斷信息等。
mDAE 可以利用已有的完整數據學習數據的潛在結構，並根據學習到的結構插補缺失值。
插補後的數據可以用於疾病診斷、治療方案預測等下游任務。
金融數據預測:

金融數據也經常存在缺失值，例如股票價格、交易量等。
mDAE 可以用於插補缺失的金融數據，例如預測股票價格走勢、評估投資風險等。
然而，在實際應用中，mDAE 的效果受到多種因素的影響，例如：

數據質量: 如果數據中存在大量的噪聲或偏差，mDAE 的插補效果可能會受到影響。
缺失機制: mDAE 假設數據的缺失是隨機的，如果缺失機制是非隨機的，則需要使用其他方法處理。
模型選擇: mDAE 的結構和超參數需要根據具體問題進行調整，以獲得最佳的插補效果。
總體而言，mDAE 方法在實際問題中的缺失數據插補中具有一定的應用潛力，但需要根據具體問題和數據集的特點進行評估和選擇。