מושגי ליבה
本研究は、Transformer アーキテクチャとセルフアテンション機構に基づくマルチモーダル融合フレームワークMultitransを提案し、脳卒中治療を受けた患者の非造影CT画像と退院時診断レポートを使用して、様々なTransformer ベースの手法を研究し、脳卒中治療の機能的予後を予測する。
תקציר
本研究は、Transformer ベースのマルチモーダル融合フレームワークMultitransを提案しています。このフレームワークは、脳卒中治療を受けた患者の非造影CT画像と退院時診断レポートを組み合わせて使用し、様々なTransformer ベースの手法を用いて脳卒中治療の機能的予後を予測することを目的としています。
実験結果から以下のことが明らかになりました:
- 単一モーダルのテキスト分類の性能は単一モーダルの画像分類よりも大幅に優れている
- しかし、マルチモーダルの組み合わせの効果は単一モダリティよりも優れている
- Transformerモデルは画像データでは性能が低いが、臨床メタ診断情報と組み合わせることで、相補的な情報を学習し、脳卒中治療効果の正確な予測に大きく貢献できる
今後の課題として、マルチモーダルフレームワークにさらに多くのモーダル情報を組み込むこと、およびエンドツーエンドのマルチモーダルモデルの最適化に取り組む予定です。
סטטיסטיקה
脳卒中治療を受けた128人の患者から収集した関連診断結果とデータを使用しました。
42人の患者が動脈内治療を受け、86人の患者が通常の治療を受けました。
データは7:2:1の比率で分割して学習しました。
予後は90日時点の modified Rankin Scale (mRS) スコアで判定し、mRS ≤ 2を良好な予後、mRS > 2を不良な予後と二値化しました。
ציטוטים
「Transformerモデルは画像データでは性能が低いが、臨床メタ診断情報と組み合わせることで、相補的な情報を学習し、脳卒中治療効果の正確な予測に大きく貢献できる」