專家認知驅動的集成深度學習：從組織學圖像預測乳腺癌新輔助化療病理學完全缓解的外部驗證

核心概念

專家認知驅動的集成深度學習 (ECDEDL) 方法可以有效提高預測模型在外部驗證中的性能，使其在數值上接近內部驗證結果，為乳腺癌新輔助化療病理學完全缓解的預測提供更可靠的依據。

摘要

文獻資訊

Yang, Y., Li, F., Wei, Y., Zhao, Y., Fu, J., Xiao, X., & Bu, H. (2024). Experts’ Cognition-Driven Ensemble Deep Learning for External Validation of Predicting Pathological Complete Response to Neoadjuvant Chemotherapy from Histological Images in Breast Cancer. Medinformatics, 2024, 1-13.

研究目標

本研究旨在探討專家認知驅動的集成深度學習 (ECDEDL) 方法在預測乳腺癌新輔助化療病理學完全缓解 (pCR) 中的有效性，特別關注其在外部驗證中的表現。

方法

• 收集來自四個中心的 1035 張全切片圖像 (WSI)，其中 695 張來自同一中心，用於模型開發和內部驗證，其餘 340 張來自其他三個中心，用於外部驗證。
• 邀請病理學專家在每張 WSI 上標記包含腫瘤和間質的代表性區域 (ROI)，並從中裁剪出 233 × 233 μm 的小圖像（稱為“圖塊”）。
• 使用圖像分割工具從組織學圖像圖塊中提取腫瘤和間質內容，分別構建腫瘤數據集和間質數據集。
• 採用集成深度學習框架，分別使用 MobileNetV2、ResNet101V2 和 NASNetLarge 作為深度神經網絡 (DNN) 架構，並使用相同的學習策略對其進行訓練。
• 使用 ROC 和 PR 曲線評估預測模型的整體性能，並使用在概率閾值為 0.5 時計算的 Precision、Recall、F1 和 Accuracy 等指標評估其在實際應用中的性能。

主要發現

• 與基於原始數據訓練的模型相比，基於腫瘤數據集和間質數據集訓練的模型在外部數據上的表現更好，表明病理學專家的認知在 ECDEDL 中起著重要作用。
• 集成腫瘤模型和間質模型的 TS-Ensemble 模型在外部數據上的表現優於單獨的腫瘤模型和間質模型，表明人工智能專家的認知可以進一步提高模型的泛化能力。
• TS-Ensemble 模型在外部數據上的整體性能和實際應用性能均接近於直接模型在內部數據上的性能，表明 ECDEDL 方法可以有效提高預測模型在外部驗證中的性能，使其在數值上接近內部驗證結果。

主要結論

ECDEDL 方法是一種有效的外部驗證方法，可以提高基於深度學習的乳腺癌新輔助化療病理學完全缓解預測模型的性能。

研究意義

本研究提出了一種新的深度學習模型外部驗證方法，為解決醫學圖像分析中普遍存在的外部驗證性能下降問題提供了新的思路。

局限與未來研究方向

• 本研究中選擇的專家認知應具有廣泛的共識性，以避免個人偏見對模型的影響。
• 未來應進一步探索 ECDEDL 方法在不同癌症類型和成像模式中的泛化能力。
• 可以嘗試將 ECDEDL 方法與其他解決方案和聯邦學習相結合，以進一步提高模型的性能。

統計資料

本研究使用了 1035 張全切片圖像 (WSI)，其中 695 張用於模型開發和內部驗證，340 張用於外部驗證。
在外部驗證中，ECDEDL 將 pCR 預測的 AUC 從 61.52 (59.80-63.26) 提高到 67.75 (66.74-68.80)，將 pCR 預測的 Accuracy 從 56.09 (49.39-62.79) 提高到 71.01 (69.44-72.58)。

引述

"The out-of-distribution problem of external validation, i.e., the problem of domain generalization is the primary challenge for deep learning in breast cancer imaging."
"Usually, a pathological expert commonly will refer to his cognition, that has been accumulated via different working experiences, about the medical data at hand to make decisions."
"As far as we know, this paper is the first that has proposed an experts’ cognition-driven approach, which is particularly for addressing the out-of-distribution problem in external validation."

從以下內容提煉的關鍵洞見

Experts' cognition-driven ensemble deep learning for external validation of predicting pathological complete response to neoadjuvant chemotherapy from histological images in breast cancer

by Yongquan Yan... 於 arxiv.org 11-12-2024

https://arxiv.org/pdf/2306.10805.pdf

深入探究

如何將 ECDEDL 方法應用於其他醫學圖像分析任務，例如疾病診斷、預後預測等？

ECDEDL 方法的核心是利用專家認知來指導數據準備和模型訓練，從而提高模型的泛化能力，特別是在外部驗證中的表現。這種方法可以應用於其他醫學圖像分析任務，例如疾病診斷、預後預測等，具體步驟如下：

識別關鍵醫學知識： 與領域專家合作，識別對特定任務至關重要的醫學知識。例如，在疾病診斷中，這可能包括特定的影像學特徵、病理學表現或臨床指標。
設計數據準備策略： 根據識別的醫學知識，設計數據準備策略，提取或強調與目標任務相關的圖像信息。這可能包括：

區域分割： 將圖像分割成不同的區域，例如器官、組織或病變區域，並分別提取這些區域的特徵。
特徵增強： 對與目標任務相關的圖像特徵進行增強，例如提高對比度、降低噪聲或突出顯示特定結構。
多模態數據融合： 結合來自不同成像模態（例如 CT、MRI、病理切片）的信息，以提供更全面的數據表示。

構建集成深度學習模型： 使用集成學習技術，結合基於不同數據準備策略或不同深度學習架構訓練的模型，以提高模型的泛化能力。
外部驗證和評估： 使用來自不同醫療機構或患者群體的外部數據集對模型進行驗證，以評估模型的泛化能力和臨床實用性。

總之，ECDEDL 方法提供了一個框架，可以將專家認知融入到醫學圖像分析模型中，從而提高模型的準確性、可靠性和泛化能力。

是否存在其他類型的專家認知可以被用於構建更準確、更可靠的預測模型？

除了文中提到的病理學家和人工智能專家的認知，其他類型的專家認知也可以被用於構建更準確、更可靠的預測模型，例如：

放射科醫生認知： 放射科醫生在判讀醫學影像方面具有豐富的經驗，他們對影像學特徵、病變形態和解剖結構的理解可以幫助設計更有效的數據準備策略和模型訓練方法。
腫瘤科醫生認知： 腫瘤科醫生對癌症的發病機制、治療方案和預後因素有深入的了解，他們的專業知識可以幫助識別與預後相關的關鍵因素，並指導模型開發。
基因組學專家認知： 基因組學數據可以提供有關患者分子特徵的信息，將基因組學專家的認知與醫學影像分析相結合，可以開發更精準的預測模型，例如預測患者對特定治療的反應。
患者認知： 患者的個人病史、生活方式和治療偏好等信息也可以用於構建更個性化的預測模型。
將這些不同類型的專家認知融入到模型開發過程中，可以構建更全面、更準確、更可靠的預測模型，從而更好地輔助臨床決策。

如何評估和減輕 ECDEDL 方法中專家認知可能帶來的潛在偏見？

雖然專家認知可以提高模型的性能，但也可能引入潛在的偏見。為了評估和減輕這些偏見，可以採取以下措施：

多樣化的專家群體： 邀請來自不同背景、經驗和專業領域的專家參與模型開發，以減少個體偏見的影響。
明確的認知提取方法： 採用結構化的訪談、問卷調查或數據分析等方法，明確地提取專家的認知，並記錄其決策依據，以提高認知提取的客觀性和可重複性。
盲法評估： 在模型評估階段，對數據標籤和模型預測結果進行盲法處理，以避免評估者受到專家認知的影響。
偏見檢測和校正： 使用統計學方法或機器學習技術，檢測模型預測結果中是否存在與敏感變量（例如性別、年齡、種族）相關的偏見，並對模型進行校正，以確保模型的公平性和普適性。
持續監測和更新： 定期監測模型的性能，並根據新的醫學知識和臨床實踐對模型進行更新，以減少模型過時和偏見累積的風險。
總之，通過採取適當的措施，可以有效地評估和減輕 ECDEDL 方法中專家認知可能帶來的潛在偏見，從而開發出更準確、更可靠、更公平的醫學圖像分析模型。