Core Concepts
医学画像と言語の事前トレーニングは、病気の視覚的表現とテキスト表現を一致させるために革新的な手法を導入する。
Abstract
医学画像と言語の事前トレーニング(VLP)は、ゼロショット病理学認識を可能にする。
新しいVLPフレームワークが紹介され、疾患記述を基本的な側面に分解し、視覚的マニフェステーションを活用する。
デュアルヘッドTransformerが提案され、既知および未知の疾患の包括的な検出効果を最適化する。
実験では、7つのデータセットで他の手法よりも優れたパフォーマンスが示されている。
Stats
Covid – AUC = 73.13%
Covid – AUC = 84.36% (11.23%)
Quotes
「我々のモデルは、共通要素を活用して新しい疾患の外観と基本的な知識を関連付けることで、効果的に新しい疾患の認識を改善します。」
「我々は従来の報告一致方法と異なり、共通ビジュアルナレッジベース(例:疾患形状、不透明度レベル)とテキスト表現と一致させます。」