Core Concepts
大規模な公開リソースから収集した画像テキストペアと、病理学の分野固有の知識を活用することで、病理学的視覚表現学習を強化する。
Abstract
本論文では、病理学的視覚表現学習の問題に取り組んでいる。具体的には以下の貢献を行っている:
病理診断に必要な4,718の疾患と32の組織から成る50,470の属性を含む包括的な病理知識ツリー「PathKT」を構築した。これは、これまでにない詳細な病理知識ベースである。
PathKTの知識をテキストエンコーダに注入することで、視覚言語表現学習を強化する「知識強化事前学習(KEP)」アプローチを提案した。これにより、画像とテキストの対応付けを改善できる。
交差モーダル検索、パッチレベルの零shot分類、WSIレベルの腫瘍サブタイピングの3つのタスクで、提案手法の有効性を実証的に示した。KEPは既存手法に比べて顕著な性能向上を達成している。
全てのコード、モデル、PathKTは研究コミュニティに公開される予定である。
Stats
病理学的特徴を含む短いキャプションは、画像とテキストの対応付けに曖昧性を引き起こす。
病理知識ツリーを活用することで、同じ疾患の属性間の関係性を明示的に構築できる。
Quotes
「病理診断は現在、臨床応用における様々な疾患の検査の金標準である」
「自己教師あり事前学習は、教師あり微調整を必要とするが、未ラベルの病理学的画像に適用できる」