核心概念
雖然多模態動態融合在生物醫學分類任務中展現潛力,但模態資訊量的預測仍存在挑戰,而特徵資訊量則為提升模型效能和可解釋性提供了可行的方向。
摘要
多模態動態融合於生物醫學任務中的洞察與挑戰
這篇研究論文深入探討了 Han 等人 (2022) 提出的多模態動態 (MM dynamics) 方法,該方法旨在將多模態融合應用於生物醫學分類任務。MM dynamics 演算法整合了特徵層級和模態層級的資訊量,以動態融合多種模態數據,從而提升分類效能。
本研究旨在驗證 MM dynamics 方法在新的生物醫學數據集上的有效性,並探討其在圖像數據上的擴展性。
複製 MM dynamics
研究人員首先嘗試在新的數據集上複製 MM dynamics 的結果。他們使用了包含單細胞基因表達譜 (RNA)、蛋白質水平 (蛋白質) 和組織病理學圖像的數據集。
圖像 MM dynamics
為了將 MM dynamics 擴展到圖像數據,研究人員對演算法的兩個關鍵組件進行了調整:
特徵資訊量計算: 由於圖像數據中資訊量並非來自單個像素,而是來自相鄰像素群,因此研究人員採用了 U-net 架構來計算圖像塊的顯著性。
單模態編碼器: 研究人員使用了一個包含卷積層、最大池化層和全連接層的 CNN 架構來處理圖像數據。