核心概念
放射線画像と報告書の詳細な整合性を実現するため、FITA (Fine-grained Image-Text Aligner) モデルを提案した。FITA は画像特徴の精緻化、テキスト特徴の精緻化、そして両者の整合性を高めるコントラスティブアライナーの3つのモジュールから構成される。
摘要
本研究は、放射線報告書の自動生成に関する新しい手法 FITA を提案している。FITA は以下の3つのモジュールから構成される:
画像特徴の精緻化モジュール (Image Feature Refiner, IFR)
放射線画像から詳細な視覚特徴を抽出するため、分類損失とGrad-CAMを活用する
異常領域と関連症状の対応付けを行う
テキスト特徴の精緻化モジュール (Text Feature Refiner, TFR)
報告書テキストから詳細な意味特徴を抽出するため、多クラス分類損失とトリプレット損失を活用する
異常と正常の文章の微妙な違いを捉える
画像テキスト整合性アライナー (Contrastive Aligner, CA)
精緻化された画像特徴とテキスト特徴の整合性を高めるため、コントラスティブ損失を活用する
実験結果では、FITA が従来手法を上回る性能を示しており、特に放射線報告書の質的指標で優れた結果を得ている。これは、FITA が放射線画像と報告書の詳細な整合性を実現できたことを示唆している。
統計資料
① 心拡大は重度で、前回検査と比較して悪化しているが、これは部分的に撮影法と患者の回転によるものと考えられる。
② 前回検査と比較して、右上縦隔の輪郭の増大も認められるが、これも部分的に技術的な要因によるものと考えられる。肺門部の輪郭は安定している。胸水や気胸は認められない。軽度の間質性陰影が再び見られるが、肺水腫はない。肺炎を示唆する明らかな浸潤影は認められない。
引述
「心拡大は重度で、前回検査と比較して悪化しているが、これは部分的に撮影法と患者の回転によるものと考えられる。」
「前回検査と比較して、右上縦隔の輪郭の増大も認められるが、これも部分的に技術的な要因によるものと考えられる。」