FedCVD：首個基於真實世界心血管疾病數據的聯邦學習基準測試

核心概念

FedCVD 基準測試利用真實世界心血管疾病數據，突顯聯邦學習在處理非獨立同分布數據、長尾分布和標籤不完整性方面的挑戰，推動更安全、更有效的協作機器學習模型訓練，以改善心血管疾病的診斷和治療。

摘要

文獻資訊

標題：FedCVD：首個基於真實世界心血管疾病數據的聯邦學習基準測試
作者：Yukun Zhang, Guanzhong Chen, Zenglin Xu, Jianyong Wang, Dun Zeng, Junfan Li, Jinghua Wang, Yuan Qi, Irwin King
發表日期：2024年10月28日

研究目標

本研究旨在建立一個名為 FedCVD 的多中心聯邦學習基準測試，專為心血管疾病任務設計，以解決真實世界心血管疾病數據所帶來的挑戰，並促進在該領域開發更強大的聯邦學習算法。

方法

• 收集七個醫療機構的真實世界心血管疾病數據，涵蓋心電圖 (ECG) 和超聲心動圖 (ECHO) 數據。
• 建立兩個主要數據集：Fed-ECG 和 Fed-ECHO，分別用於多標籤分類和分割任務。
• 採用自然劃分策略，將數據集劃分到不同的機構，以模擬真實世界的聯邦學習場景。
• 評估多種主流聯邦學習算法在 FedCVD 上的性能，包括 FedAvg、FedProx、Scaffold、FedInit、Ditto、FedSM 和 FedALA。
• 使用多種指標評估算法性能，包括 Micro F1、平均精度均值 (mAP)、Dice 相似係數和 Hausdorff 距離。

主要發現

• FedCVD 中自然存在的非獨立同分布數據特性比大多數先前聯邦基準測試中手動劃分的設置更具挑戰性。
• 主流聯邦學習算法在 FedCVD 的長尾測試中表現不佳。
• 對於最困難的任務，即標籤不完整的 Fed-ECHO，主流聯邦學習算法幾乎無法維持效用，但仍然優於僅利用每個客戶端上未標記數據的非協作算法。
• 利用未標記數據的聯邦半監督學習算法實現了一定的性能提升。

主要結論

FedCVD 為評估和比較聯邦學習算法在真實世界心血管疾病數據上的性能提供了一個有價值的基準測試。研究結果強調了開發能夠有效應對數據異質性、處理長尾類別和利用未標記數據的聯邦學習算法的必要性。

意義

FedCVD 的提出對於推動聯邦學習在心血管疾病領域的應用具有重要意義。它提供了一個公開、可復現的基準測試平台，促進了更安全、更有效的協作機器學習模型的開發，以改善心血管疾病的診斷和治療。

局限性和未來研究方向

• FedCVD 目前提供的數據類型和任務種類有限。
• 實驗中比較的聯邦學習算法，特別是半監督學習算法，數量有限。
  未來研究方向包括擴展 FedCVD 的數據範圍，納入更多種類的心血管疾病數據和任務，並評估更多先進的聯邦學習算法。

統計資料

心血管疾病每年造成全球超過 1800 萬人死亡。
FedCVD 包含來自七個醫療機構的真實世界心血管疾病數據。
Fed-ECG 數據集包含來自四個不同數據集的 12 導聯心電圖信號。
Fed-ECHO 數據集源自三個來源：CAMUS、ECHO-DYNAMIC 和 HMC-QU。

引述

“心血管疾病 (CVD) 每年造成全球超過 1800 萬人死亡，使其成為全球最嚴重的健康挑戰之一。”
“據我們所知，這是第一個專為心血管疾病檢測設計的真實世界聯邦學習基準測試，名為 FedCVD。”
“FedCVD 突出了真實世界聯邦學習中 CVD 應用的三個關鍵特徵，每個特徵都對聯邦學習算法提出了重大挑戰：非獨立同分布數據、長尾分佈和標籤不完整性。”

從以下內容提煉的關鍵洞見

FedCVD: The First Real-World Federated Learning Benchmark on Cardiovascular Disease Data

by Yukun Zhang,... 於 arxiv.org 11-12-2024

https://arxiv.org/pdf/2411.07050.pdf

深入探究

除了心電圖和超聲心動圖數據外，還有哪些類型的心血管疾病數據可以用於聯邦學習，以及如何將其整合到 FedCVD 中？

除了心電圖（ECG）和超聲心動圖（ECHO）數據外，還有許多其他類型的心血管疾病數據可以用於聯邦學習，例如：

醫學影像數據： 除了 ECHO 之外，還有其他醫學影像數據可以用於心血管疾病診斷，例如：

計算機斷層掃描（CT）：可以用於冠狀動脈疾病的診斷。
磁共振成像（MRI）：可以用於評估心臟結構和功能。
血管造影：可以用於觀察血管阻塞情況。

電子病歷（EHR）數據： EHR 數據包含豐富的患者信息，例如：

人口統計學數據： 年齡、性別、種族等。
實驗室檢查結果： 血壓、膽固醇水平、血糖水平等。
用藥史
家族病史

基因數據： 基因數據可以用於識別與心血管疾病風險相關的基因變異。
可穿戴設備數據： 可穿戴設備，例如智能手錶和健身追踪器，可以收集心率、活動水平和睡眠模式等數據，這些數據可以用於心血管疾病的早期預警和風險評估。
如何將這些數據整合到 FedCVD 中：

數據標準化： 不同機構收集的數據可能存在格式和標準上的差異，因此需要對數據進行標準化處理，以確保數據的一致性和可比性。
數據對齊： 不同類型的数据可能包含不同的信息，需要进行数据对齐，以找到不同数据类型之间的关联，例如可以使用患者ID将不同类型的数据关联起来。
隱私保護： 在整合數據時，需要采取嚴格的隱私保護措施，以確保患者數據的安全性。
通過整合這些多樣化的數據，可以開發出更全面、更準確的心血管疾病診斷和預測模型。

如何設計更個性化的聯邦學習算法，以解決 FedCVD 中不同機構之間數據異質性帶來的挑戰？

FedCVD 中不同機構之間的數據異質性是聯邦學習面臨的主要挑戰之一。為了更好地解決這個問題，可以設計更個性化的聯邦學習算法，例如：

基於模型聚合的個性化：

FedAvgM [55]: 不同于 FedAvg 直接平均模型参数，FedAvgM 会根据每个客户端的数据量对模型参数进行加权平均，从而更好地平衡不同客户端对全局模型的贡献。
FedProx [49]: 在本地訓練過程中添加一個 L2 正則化項，以限制本地模型與全局模型之間的差異，從而減輕客戶端漂移問題。
Scaffold [48]: 通過控制變量和服務器端學習率調整來減輕客戶端漂移問題。

基於模型參數的個性化：

FedPer [56]: 將全局模型分成共享部分和個性化部分，每個客戶端在本地訓練過程中只更新個性化部分的參數，從而更好地適應本地數據分佈。
FedBN [57]: 每個客戶端維護一個本地 Batch Normalization 層，以更好地適應本地數據分佈。

基於元學習的個性化：

Model-Agnostic Meta-Learning (MAML) [58]: 通過元學習的方式，學習一個可以快速適應新任務的模型初始化參數，從而提高模型在不同客戶端上的泛化能力。

基於多任務學習的個性化：

MOCHA [59]: 將聯邦學習問題建模為一個多任務學習問題，每個客戶端對應一個任務，通過學習任務之間的關係，提高模型在不同客戶端上的泛化能力。
除了上述方法之外，還可以根據 FedCVD 數據集的具體特點，設計更具針對性的個性化聯邦學習算法。例如，針對 Fed-ECG 數據集中的長尾分佈問題，可以採用一些針對長尾分佈問題的算法，例如：

重新加權： 對不同類別的樣本賦予不同的權重，例如對尾部類別的樣本賦予更高的權重，以提高模型對尾部類別的關注度。
數據增強： 對尾部類別的樣本進行數據增強，例如過採樣或生成合成樣本，以擴展尾部類別的樣本數量。

聯邦學習如何應用於其他醫療領域，例如癌症診斷或藥物發現，以及 FedCVD 的設計原則如何指導這些應用？

聯邦學習在其他醫療領域，例如癌症診斷或藥物發現，也具有巨大的應用潛力。
癌症診斷：

影像診斷： 可以使用聯邦學習來訓練基於醫學影像（例如 CT、MRI、PET）的癌症診斷模型，利用來自不同醫院的數據，可以提高模型的準確性和泛化能力。
基因組學分析： 可以使用聯邦學習來分析來自不同患者的基因組數據，以識別與癌症相關的基因變異，並開發更精準的治療方案。
藥物發現：

藥物篩選： 可以使用聯邦學習來訓練模型，以預測候選藥物的藥效和毒性，從而加速藥物篩選過程。
藥物設計： 可以使用聯邦學習來設計新的藥物分子，例如通過生成對抗網絡（GAN）來生成具有特定藥理特性的分子結構。
FedCVD 的設計原則如何指導這些應用：

數據異質性： FedCVD 中的數據異質性問題在其他醫療領域也普遍存在，因此在設計聯邦學習算法時，需要考慮如何有效地解決數據異質性問題。
數據隱私和安全： 醫療數據的隱私和安全至關重要，因此在設計聯邦學習系統時，需要採取嚴格的隱私保護措施。
可解釋性和可信度： 在醫療領域，模型的可解釋性和可信度至關重要，因此需要開發可解釋的聯邦學習算法，並對模型進行嚴格的驗證和評估。
總之，聯邦學習為醫療領域帶來了新的機遇，可以利用分散的數據資源，開發出更準確、更可靠的醫療診斷和治療方案。 FedCVD 的設計原則可以為其他醫療領域的聯邦學習應用提供有益的指導。