HIST-AID：利用歷史病患報告增強多模態自動診斷

核心概念

整合歷史病患報告，特別是最近的報告，可以顯著提高胸部X光片異常檢測的準確性。

摘要

書目資訊

Huang, H., Deniz, C.M., Cho, K., Chopra, S., & Madaan, D. (2024). HIST-AID: Leveraging Historical Patient Reports for Enhanced Multi-Modal Automatic Diagnosis. Proceedings of Machine Learning Research, 259, 1–15.

研究目標

本研究旨在探討如何利用歷史病患資料，包括放射影像和報告，來提高胸部X光片自動診斷的準確性。

方法

研究人員創建了一個名為 Temporal MIMIC 的資料集，該資料集整合了來自 MIMIC-CXR 的胸部 X 光片和來自 MIMIC-IV 的放射學報告，涵蓋了五年期間的病患資料。他們提出了一個名為 HIST-AID 的多模態框架，該框架使用基於 Transformer 的影像和文字時間序列編碼器來分別處理歷史影像和報告，並透過多模態融合將其結合起來進行診斷。

主要發現

• 與僅使用當前掃描影像的模型相比，整合歷史放射學報告顯著提高了所有十三種病症的自動異常檢測準確性，平均 AUROC 提高了 6.56%，AUPRC 提高了 9.51%。
• 這種改進在不同性別、年齡和種族群體中是一致的，表明該方法有助於減少診斷偏差。
• 最近的報告（診斷前 30 天內）對模型性能的影響最大，而較舊的報告往往會降低預測性能。

主要結論

整合歷史病患報告，特別是最近的報告，可以顯著提高胸部X光片異常檢測的準確性，並有助於實現更公平的診斷方法。

研究意義

這項研究強調了在醫學影像診斷中利用縱向病患資料的潛力，並為開發更準確、公平和可靠的自動診斷工具提供了有價值的見解。

局限性和未來研究方向

• 歷史放射影像對模型性能的影響有限，可能是由於與報告存在資訊重疊。未來研究可以探索更有效的方法來整合歷史影像和報告。
• 不同報告部分對模型性能的貢獻不同。需要進一步研究以確定如何有效地利用報告的所有部分，同時最大程度地減少計算成本。

統計資料

與僅使用當前掃描影像的模型相比，整合歷史放射學報告後，所有病症的平均 AUROC 提高了 6.56%，AUPRC 提高了 9.51%。
在不同性別、年齡和種族群體中，模型性能的提升是一致的。
最近的報告（診斷前 30 天內）對模型性能的影響最大，而較舊的報告往往會降低預測性能。

引述

"Our evaluation shows that integrating past reports improves model performance across thirteen pathologies, with average AUROC and AUPRC increases of 6.56% and 9.51% compared to current scan only methods."
"This improvement is consistent across subgroups defined by gender, age, and race, ensuring a more equitable diagnostic approach."
"We showed that the impact of historical data varies across time, with the most recent reports – upto 30 days from diagnosis – being valuable, while older records tend to diminish predictive performance."

從以下內容提煉的關鍵洞見

HIST-AID: Leveraging Historical Patient Reports for Enhanced Multi-Modal Automatic Diagnosis

by Haoxu Huang,... 於 arxiv.org 11-19-2024

https://arxiv.org/pdf/2411.10684.pdf

深入探究

除了放射學報告之外，還有哪些類型的歷史病患資料（例如，電子健康記錄、實驗室結果）可以整合到自動診斷模型中？

除了放射學報告，以下類型的歷史病患資料也可以整合到自動診斷模型中，以提高診斷準確率：

電子健康記錄 (EHR):

病史: 包括既有疾病（例如：高血壓、糖尿病）、手術史、過敏史等，這些資訊有助於模型理解患者的整體健康狀況，並找出可能與影像結果相關的因素。
藥物治療: 患者正在服用的藥物資訊可以幫助模型判斷某些影像表現是否與藥物副作用相關。
生命徵象: 體溫、心跳、血壓、呼吸頻率等生命徵象的變化趨勢可以提供疾病進程的線索，並輔助影像判讀。

實驗室結果:

血液檢測: 例如，白血球計數升高可能提示感染，與肺炎的影像表現相呼應。
尿液檢測: 某些尿液指標異常可能反映腎臟功能，進而影響心臟疾病的診斷。
病理切片報告: 若患者曾接受過相關部位的活檢，病理切片報告可以提供更確切的診斷依據。

基因資訊: 基因資訊可以幫助模型評估患者罹患某些疾病的風險，並預測疾病進程。
生活型態: 吸煙史、飲酒習慣、運動習慣等生活型態因素也會影響疾病的發生和發展，可以作為模型的參考依據。
整合多種來源的歷史病患資料可以構建更全面的患者健康檔案，幫助自動診斷模型更準確地預測疾病，並提供更個人化的治療建議。

如何解決在整合歷史病患資料時可能出現的隱私和資料安全問題？

整合歷史病患資料時，必須嚴格遵守相關法規和倫理規範，並採取以下措施來保護患者隱私和資料安全：

去識別化和資料匿名化: 在資料收集和處理過程中，應盡可能移除或加密可識別患者身份的資訊，例如姓名、身份證號碼、住址等。
資料加密和存取控制: 所有病患資料都應加密儲存，並設置嚴格的存取權限，僅限授權人員使用。
安全傳輸: 資料傳輸過程中應採用安全的通訊協定，例如 HTTPS 或 VPN，防止資料洩露。
資料使用協議和患者知情同意: 應制定明確的資料使用協議，規定資料的使用目的、範圍和方式，並取得患者的知情同意。
定期安全審查和技術更新: 定期進行安全審查，評估資料安全措施的有效性，並及時更新安全技術，防範新的安全威脅。
建立資料安全管理制度: 建立完善的資料安全管理制度，明確各部門和人員的責任和義務，並定期進行培訓和演練，提高資料安全意識和應變能力。
透過以上措施，可以有效降低資料洩露和濫用的風險，保障患者的隱私和資料安全。

如果將來醫學影像診斷完全自動化，放射科醫師的角色將如何演變？

即使醫學影像診斷未來完全自動化，放射科醫師的角色也不會消失，而是會轉變為更偏重於以下方面：

模型驗證和品質控管: 放射科醫師需要參與自動化診斷模型的開發、驗證和性能評估，確保模型的準確性、可靠性和安全性。
複雜病例判讀和最終診斷: 自動化模型主要處理常規病例，對於複雜病例或模型無法確診的病例，仍需由放射科醫師進行最終判讀和診斷。
與臨床醫師溝通和制定治療方案: 放射科醫師需要與臨床醫師溝通影像結果，共同制定最佳治療方案。
新技術研發和應用: 放射科醫師需要不斷學習和掌握新的影像技術和診斷方法，並參與新技術的研發和應用。
患者溝通和醫學教育: 放射科醫師需要向患者解釋影像結果，並進行醫學教育，提高公眾對影像醫學的認識。
總之，自動化診斷模型的出現將解放放射科醫師的勞動力，使其能夠將更多精力投入到更複雜、更需要專業知識和經驗的工作中，為患者提供更優質的醫療服務。