使用 ALIGN 解鎖歷史臨床試驗數據：一種用於醫學編碼的組合式大型語言模型系統

核心概念

ALIGN 是一種新型組合式大型語言模型系統，專為自動化零樣本醫學編碼而設計，在 ATC 和 MedDRA 編碼方面表現出優於現有基於大型語言模型方法的性能，並通過不確定性量化實現人類參與循環，從而提高準確性和可靠性。

摘要

研究背景
歷史臨床試驗數據的再利用對於醫學研究和藥物開發具有巨大的潛力，可以減少樣本量、增強統計能力並揭示隱藏在單個數據集中的更廣泛的醫學見解。然而，互操作性挑戰，特別是缺少醫學代碼，阻礙了跨研究的有效數據整合。雖然大型語言模型 (LLM) 為無需標記數據的自動化編碼提供了一種有前景的解決方案，但目前的方法在複雜的編碼任務中面臨著挑戰。
ALIGN 系統架構
ALIGN 是一種組合式 LLM 醫學編碼系統（即複合人工智能系統），它利用 LLM 的推理能力，同時結合了明確的驗證。ALIGN 使用多步驟流程，其中 LLM 提出代碼、考慮備選方案、根據外部接地信息驗證選擇並產生不確定性估計以實現人工監督 - 這是 LLM 輸出用於臨床環境時的一個重要考慮因素。
ALIGN 的三個階段

多樣化候選代碼生成： ALIGN 採用三種互補的方法來生成多樣化的候選代碼：密集檢索、BM25 檢索和 LLM 推理。
LLM 自我評估： 為了確保代碼有效性並減少虛假候選代碼，ALIGN 實現了一種利用外部基礎的自評估機制。
置信度評分和不確定性估計： 為了提供可靠的不確定性估計並實現人工延遲，ALIGN 實現了一種用於置信度評分和不確定性估計的兩階段方法。

結果

ALIGN 和 RAG 在將藥物名稱協調到解剖學治療化學 (ATC) 和將病史術語協調到醫學詞典監管活動 (MedDRA) 代碼方面均顯著優於香草 LLM。
ALIGN 在 ATC 編碼方面表現出優於檢索排名方法的性能，特別是在 ATC 層次的較低級別（第 3 級和第 4 級）。
ALIGN 在常見藥物上的表現尤其出色，與總體結果相比，ATC 4 級的性能提高了 ±10%。
基於不確定性的延遲優於隨機延遲，表明 ALIGN 能夠識別它可能錯誤分類的情況——有效地“知道它不知道什麼”。
結論
ALIGN 的組合式 LLM 系統代表了臨床試驗數據零樣本自動化醫學編碼的進步，有助於增強數據互操作性和可重用性。這一進步在改善臨床分析、加速藥物開發、降低成本以及最終改善患者療效方面具有巨大潛力。隨著試驗數據量的增長，像 ALIGN 這樣的系統將成為釋放歷史數據的全部潛力並加速醫學創新的關鍵。

統計資料

ALIGN 在常見藥物上的表現尤其出色，與總體結果相比，ATC 4 級的性能提高了 ±10%。
通過大約 30% 的延遲，觀察到準確率提高到接近 90%，這意味著罕見藥物的增加超過 15%。

從以下內容提煉的關鍵洞見

Unlocking Historical Clinical Trial Data with ALIGN: A Compositional Large Language Model System for Medical Coding

by Nabeel Seeda... 於 arxiv.org 11-21-2024

https://arxiv.org/pdf/2411.13163.pdf

深入探究

除了醫學編碼，ALIGN 還可以應用於醫療保健領域的哪些其他任務？

ALIGN 作為一個組合式大型語言模型系統，除了醫學編碼，其核心功能可以應用於多種醫療保健任務，特別是在需要理解和提取臨床文本信息，並進行推理和決策的場景下：

臨床文件摘要: ALIGN 可以用於自動化生成病歷、出院總結和其他臨床文件的摘要，提取關鍵信息，例如患者主訴、診斷、治療方案和預後。
信息提取: 從非結構化文本（如醫生筆記、實驗室報告和醫學文獻）中提取關鍵信息，例如藥物名稱、劑量、給藥途徑、疾病名稱、症狀和體徵。
問診輔助: ALIGN 可以根據患者的描述和病史，提供可能的診斷建議，並輔助醫生進行更全面和準確的診斷。
臨床試驗篩選: ALIGN 可以根據患者的電子病歷信息，自動化評估患者是否符合特定臨床試驗的入組標準，提高篩選效率。
藥物警戒: ALIGN 可以用於分析藥物不良事件報告，識別潛在的藥物安全性問題，並支持藥物警戒活動。
總之，ALIGN 的核心優勢在於其能夠理解和推理臨床文本信息，並結合外部知識庫進行驗證和決策。這使得它在需要處理大量非結構化文本數據的醫療保健領域具有廣泛的應用前景。

如果訓練數據集中存在偏差，ALIGN 如何減輕潛在的偏差風險？

訓練數據集中的偏差是所有機器學習模型都面臨的挑戰，ALIGN 也不例外。 為了減輕潛在的偏差風險，可以採取以下措施：

數據集偏差評估: 在訓練 ALIGN 之前，需要對數據集進行全面評估，識別潛在的偏差來源，例如：

人口統計學偏差: 數據集中不同性別、年齡、種族等群體的代表性是否均衡。
地理位置偏差: 數據是否集中在特定地區，可能導致模型在其他地區表現不佳。
時間偏差: 數據收集時間跨度是否過大，可能導致模型無法反映最新的醫學知識和實踐。

數據集平衡: 針對已識別的偏差，可以採取數據平衡策略，例如：

過採樣: 增加代表性不足群體的數據量。
欠採樣: 減少代表性過剩群體的數據量。
數據增強: 通過數據增強技術，例如同義詞替換、語句改寫等，增加數據的多樣性。

模型偏差評估: 在模型訓練過程中和訓練完成後，需要對模型進行偏差評估，例如：

使用獨立的測試集: 測試集應包含與訓練集不同來源的數據，以評估模型的泛化能力。
分析不同群體的模型性能: 比較模型在不同性別、年齡、種族等群體上的表現，識別潛在的偏差。

模型校準: 如果發現模型存在偏差，可以通過模型校準技術來調整模型的預測結果，使其更公平、更準確。
人類專家參與: 在模型部署後，需要持續監控模型的性能，並邀請人類專家參與模型的評估和改進，特別是在處理高風險決策時。
需要注意的是，完全消除偏差幾乎是不可能的。但是，通過採取上述措施，可以最大程度地減少偏差對模型性能和決策公平性的影響，提高 ALIGN 在醫療保健領域的可靠性和安全性。

未來如何將 ALIGN 整合到現有的醫療保健系統中以優化數據管理和分析流程？

將 ALIGN 整合到現有的醫療保健系統中，需要克服技術、流程和文化等方面的挑戰。以下是一些可能的整合策略：

與電子病歷系統集成: ALIGN 可以作為電子病歷系統的一個模塊，為醫生提供實時的醫學編碼、信息提取和臨床決策支持。
構建基於雲的服務: 將 ALIGN 部署在雲平台上，可以方便醫療機構通過 API 接口訪問其功能，而無需本地部署和維護。
開發用户友好的界面: 為醫生和其他醫療保健專業人員設計易於使用和理解的界面，降低使用門檻，提高工作效率。
建立數據安全和隱私保護機制: 醫療數據高度敏感，需要採取嚴格的安全措施，例如數據加密、訪問控制和審計跟踪，確保數據安全和患者隱私。
持續監控和評估: 在 ALIGN 部署後，需要持續監控其性能，收集用户反饋，並定期評估其對醫療保健流程和患者預後的影響。
通過以上整合策略，ALIGN 可以優化現有的醫療保健數據管理和分析流程，例如：

提高數據質量: ALIGN 可以自動化醫學編碼和信息提取，減少人工操作錯誤，提高數據的準確性和完整性。
加速數據分析: ALIGN 可以快速處理大量的臨床文本數據，提取關鍵信息，為臨床研究、藥物研發和公共衛生監測提供數據支持。
改善臨床決策: ALIGN 可以為醫生提供基於數據的臨床決策支持，例如診斷建議、治療方案推薦和預後預測，提高醫療服務質量。
總之，ALIGN 作為一個強大的醫學文本處理工具，具有優化醫療保健數據管理和分析流程的巨大潛力。通過合理的整合策略和持續的改進，ALIGN 可以為醫療保健領域帶來革命性的變化，最終造福患者。