HoneyBee：一個利用基礎嵌入模型創建多模態腫瘤學數據集的可擴展模塊化框架

核心概念

HoneyBee 框架透過整合多種醫學數據類型並利用基礎模型生成嵌入向量，解決了腫瘤學研究中缺乏大型、高品質、機器學習可用數據集的問題。

摘要

HoneyBee 框架概述

本研究論文介紹了 HoneyBee，這是一個模組化且可擴展的框架，用於構建機器學習可用的多模態腫瘤學數據集。該框架利用開源基礎模型從原始醫學數據中生成嵌入向量，從而解決了當前腫瘤學研究中缺乏大型、高品質數據集的問題。

HoneyBee 框架的三個主要組成部分：

1. 數據獲取與整合: HoneyBee 擴展了 MINDS 框架的數據整合能力，納入了額外的預處理步驟，以確保數據品質和相容性。主要數據模態包括：
   • 文本數據: 包括電子病歷 (EHR) 中的結構化和非結構化醫療報告，例如病理報告、放射學報告和臨床記錄。HoneyBee 採用自然語言處理 (NLP) 技術來提取相關特徵並標準化文本數據。
   • 影像數據: 包括數位化組織病理學玻片 (WSI) 和放射學掃描，例如電腦斷層掃描 (CT)、磁振造影 (MRI) 和正子斷層掃描 (PET)。HoneyBee 利用先進的電腦視覺模型來處理和分析這些高維度影像數據。
   • 分子數據: 提供基因組、轉錄組和蛋白質組層面的癌症潛在生物學機制的見解。HoneyBee 整合了專門的生物資訊學流程，用於預處理和整合這些複雜的分子數據。
2. 嵌入生成: HoneyBee 利用基礎模型從原始醫學數據中生成嵌入向量。嵌入生成過程涉及以下關鍵步驟：
   • 選擇基礎模型: HoneyBee 框架包含針對不同醫學模態量身定制的基礎模型，例如用於放射學掃描的 REMEDIS 模型、用於 WSI 的 TissueDetector 和 UNI 模型、用於文本數據的 Hugging Face 語言模型以及用於分子數據的 SeNMo 模型。
   • 原始醫學數據的預處理: HoneyBee 中的預處理確保原始影像、文本和分子數據與基礎模型的相容性。
   • 嵌入的生成: 每個預處理後的數據樣本都通過基礎模型，產生一個固定長度的嵌入向量。HoneyBee 利用 GPU 加速和分佈式計算來有效地為大型數據集生成嵌入。
3. 數據存儲和可訪問性: 生成的嵌入和表格數據使用 Hugging Face 數據集庫存儲，該庫提供了用於數據訪問和處理的標準化接口。數據集以結構化格式組織，包含嵌入、元數據和標籤（如果可用）。此外，HoneyBee 數據集可以整合到向量數據庫中，例如 Faiss 和 Annoy，以便在高維嵌入向量上實現快速相似性搜索、最近鄰檢檢索和聚類。

HoneyBee 數據集和用例

為了證明 HoneyBee 框架的實用性，研究人員使用 MINDS 從 TCGA 中提取和處理數據，創建了一個公開的多模態腫瘤學數據集。該數據集包含來自 33 個癌症類型的臨床數據、病理影像、放射學影像和分子數據。研究人員使用預先訓練的模型為每種數據模態生成嵌入，並使用 Hugging Face 數據集庫存儲生成的嵌入和相關元數據。

為了驗證 HoneyBee 框架在生成有意義的多模態數據集方面的有效性，研究人員進行了一系列實驗，評估嵌入的品質和在機器學習任務中的效用。他們使用從 TCGA 數據集中 33 個癌症部位生成的所有臨床文本數據，並使用 GatorTron 和 BERT 模型提取了嵌入。他們訓練了一個隨機森林分類器，使用 HoneyBee Hugging Face 存儲庫中可用的嵌入來對癌症類型進行分類。結果表明，與預先訓練的嵌入相比，經過微調的模型在分類準確性和檢索基準測試中表現出更好的性能，這突出了為每種數據模態選擇合適的基礎模型的重要性。

結論和未來方向

HoneyBee 框架整合了多模態數據，並使用表徵學習技術為腫瘤學研究創建機器學習可用的數據集。用例證明了生成的嵌入在從原始醫學數據中捕獲信息方面的有效性，以及它們在癌症類型分類等任務中的效用。HoneyBee 框架允許整合各種數據模態，並且可以靈活地擴展到其他疾病領域。它為數據整合、預處理、標準化、嵌入生成和存儲提供了一個標準化的流程，促進了數據集的創建，從而加速腫瘤學和其他醫學領域的模型開發。

然而，生成的嵌入的可解釋性和可信度需要進一步研究，以便於在臨床環境中採用。TCGA 數據集可能包含由於患者選擇標準和數據收集過程造成的偏差，這可能會影響模型的泛化能力。HoneyBee 邀請合作者為正在進行的開源工作做出貢獻。

統計資料

TCGA 數據集包含超過 11,000 名原發性癌症患者和 33 種癌症類型的匹配正常樣本的分子特徵。
HoneyBee 數據集佔 MINDS 中所有公開數據的 25.60%。
GatorTron-medium 模型在患者年齡預測等回歸任務中始終表現更好，實現了更低的總體損失。
UNI 模型生成的較小嵌入（每個圖像塊 1024 個）在圖像檢索增強生成等任務中比 REMEDIS 生成的多維嵌入矩陣（圖像塊×7×7×2048）更有效。
臨床文本數據集來自 TCGA，包括 33 個癌症部位的臨床文本數據和項目 ID。
使用 GatorTron（gatortron-medium）和 BERT（bert-base-uncased）模型從臨床文本數據中提取嵌入。
实验使用了 Nvidia RTX 3090 GPU（24GB VRAM）、32GB RAM 和 Ryzen 5950X 16 核 CPU。
採用基於適配器的微調方法對模型進行微調，以展示 HoneyBee 框架的參數高效微調 (PEFT) 能力。
隨機森林分類器使用 100 個估計器進行訓練。
對於預先訓練的模型和微調的模型，我們分別使用不同的隨機種子進行了 10 次運行。
使用 FAISS 進行相似性搜索，並評估具有匹配項目 ID 的患者記錄的檢索情況，以進行檢索基準測試。

引述

"The availability of large-scale public datasets has been a critical factor in advancing machine learning (ML) techniques, particularly in the development of foundation models."
"To address the lack of critical large-scale multimodal medical datasets, we introduce HoneyBee, a modular and scalable framework for building ML-ready multimodal oncology datasets using open-source foundation models."
"The fine-tuned models exhibited improved performance over the pre-trained models, with the GatorTron model demonstrating superior accuracy in both scenarios."

從以下內容提煉的關鍵洞見

HoneyBee: A Scalable Modular Framework for Creating Multimodal Oncology Datasets with Foundational Embedding Models

by Aakash Tripa... 於 arxiv.org 11-22-2024

https://arxiv.org/pdf/2405.07460.pdf

深入探究

HoneyBee 框架如何解決與整合來自不同機構和數據庫的數據相關的隱私和安全問題？

HoneyBee 框架在處理來自不同機構和數據庫的數據時，可以通過以下幾種方式解決隱私和安全問題：

去識別化和匿名化： 在數據整合的第一階段，HoneyBee 可以利用 MINDS 框架的功能，對原始數據進行去識別化和匿名化處理。這包括移除或替換任何可以直接或間接識別患者身份的信息，例如姓名、地址、身份證號碼等。
聯邦學習： HoneyBee 可以採用聯邦學習技術，在不直接共享原始數據的情況下，訓練機器學習模型。聯邦學習允許每個機構或數據庫在本地訓練模型，並僅共享模型參數更新，而不是原始數據。這種方法可以有效地保護患者隱私，同時仍然可以利用分散的數據集訓練出強大的模型。
差分隱私： HoneyBee 可以整合差分隱私技術，在數據分析過程中添加噪聲，以保護個人隱私。差分隱私可以確保在不損害數據集整體效用的情況下，防止從數據集中推斷出任何特定個人的信息。
安全計算環境： HoneyBee 可以在安全的計算環境中運行，例如可信執行環境（TEE）或安全多方計算（SMPC）平台。這些環境可以提供硬件級別的安全保障，防止未經授權的訪問和數據洩露。
數據使用協議和訪問控制： HoneyBee 可以與數據提供者建立數據使用協議，明確規定數據的使用目的、範圍和限制。此外，HoneyBee 可以實施嚴格的訪問控制機制，限制對數據的訪問權限，並記錄所有數據訪問操作，以確保數據安全。

如果基礎模型本身存在偏差，HoneyBee 框架如何確保生成的嵌入的公平性和無偏差性？

基礎模型的偏差是機器學習領域的一個重要問題，HoneyBee 框架意識到這個問題，並可以採取以下措施來減輕嵌入中的偏差：

偏差評估和選擇： 在選擇基礎模型時，HoneyBee 可以評估不同模型在目標任務和數據集上的偏差。選擇偏差較小的模型可以作為起點，減少嵌入中的偏差。
數據增強和平衡： HoneyBee 可以使用數據增強技術來擴充數據集，並平衡不同群體的數據量。這可以幫助模型更好地學習不同群體的特徵，減少偏差。
對抗訓練： HoneyBee 可以使用對抗訓練技術來訓練模型，使其對數據中的敏感屬性（例如種族、性別等）不敏感。對抗訓練可以鼓勵模型學習與目標任務相關的特徵，而不是與敏感屬性相關的偏差。
公平性約束： HoneyBee 可以在模型訓練過程中添加公平性約束，例如人口均等或機會均等。這些約束可以鼓勵模型在不同群體上表現出一致的性能，減少偏差。
後處理校準： 在生成嵌入後，HoneyBee 可以使用後處理技術來校準嵌入，減少偏差。例如，可以使用Platt縮放或等距校準等技術來調整不同群體的預測概率。

除了腫瘤學之外，HoneyBee 框架在其他醫療領域（如藥物發現或疾病診斷）中的潛在應用是什麼？

HoneyBee 框架的模塊化和可擴展性使其適用於腫瘤學以外的各種醫療領域。以下是一些潛在的應用：

藥物發現：

藥物靶點識別： HoneyBee 可以整合基因組、蛋白質組和臨床數據，以識別與疾病相關的潛在藥物靶點。
藥物重定位： HoneyBee 可以分析多模態數據，以識別現有藥物的新用途，特別是針對罕見病或未滿足的醫療需求。
藥物反應預測： HoneyBee 可以利用患者的基因組、臨床和生活方式數據，預測他們對特定藥物的反應，從而實現個性化醫療。

疾病診斷：

早期疾病檢測： HoneyBee 可以整合來自電子健康記錄、影像數據和可穿戴設備的數據，以開發用於早期疾病檢測的預測模型。
疾病分型： HoneyBee 可以分析多模態數據，以識別疾病的亞型，從而實現更精準的診斷和治療。
預後預測： HoneyBee 可以利用患者的臨床、影像和基因組數據，預測疾病的進程和治療反應。

其他應用：

患者分層： HoneyBee 可以根據患者的臨床特徵、基因組信息和生活方式數據，將患者分組，以進行臨床試驗或個性化治療。
醫療資源優化： HoneyBee 可以分析患者數據，以預測住院時間、再入院風險和醫療資源需求，從而優化醫療資源配置。
總之，HoneyBee 框架為整合和分析多模態醫療數據提供了一個強大的平台，具有廣泛的應用前景，可以促進醫療領域的發展和進步。