核心概念
異なるモダリティの潜在表現を組み合わせて脳腫瘍のグレードを予測するための新しいMulti-modal Outer Arithmetic Block(MOAB)が提案されました。
摘要
脳腫瘍は、細胞の異常な成長です。通常、組織学的画像に基づいてグレード分類され、患者の予後の最も重要な予測因子の1つです。しかし、結果は経験豊富な病理学者でも観察者間変動があります。最近、世界保健機関は分子遺伝学の進歩により腫瘍分類が改善されたと報告しています。この論文では、組織学的画像と遺伝データを統合してコンピュータ支援診断を向上させることを目指しています。我々は異なるモダリティの潜在表現を結合するために算術演算に基づく新しいMulti-modal Outer Arithmetic Block(MOAB)を提案します。多くの実験で我々のアプローチの効果を評価しました。MOABをThe Cancer Genome Atlas(TCGA)グリオーマデータセットに適用することで、似たクラス(Grade IIおよびIII)間の分離性能が向上し、従来の最先端グレード分類技術を凌駕します。
統計資料
脳腫瘍データベースに769人が含まれており、396人はGrade II、408人はGrade III、654人はGrade IVでした。
パラメーター:ConvNeXt 87M, MLP 11K, MOAB 88M。
学習率:単一モダリティ0.001、フュージョンモデル0.005。
バッチサイズ:8。
引述
"Deep orthogonal fusion: Multimodal prognostic biomarker discovery integrating radiology, pathology, genomic, and clinical data." - Nathaniel Braman et al.
"Predicting cancer outcomes from histology and genomics using convolutional networks." - Pooya Mobadersany et al.