Core Concepts
放射線学における画像とテキストの特徴のアライメントを向上させるために、眼球注視データを活用する新しい手法を提案します。
Abstract
複数の論文から抜粋された内容で、放射線学における画像とテキストのアライメントに焦点が当てられています。
マルチモーダルフレームワークにおける眼球注視データの重要性が強調されています。
眼球注視データを活用した新しい手法であるEGMAフレームワークが提案され、その効果が実証されています。
Introduction
マルチモーダル学習の進化と、大量の対応するマルチモーダルデータを利用して、画像とテキストの特徴抽出とアライメント能力を最適化します。
Eye-gaze Guided Multi-modal Alignment Framework (EGMA)
放射線科医の眼球注視データを活用して画像とテキスト特徴をよりよく整列させるEGMAフレームワークが紹介されます。
他の最先端手法よりも優れたパフォーマンスを示し、ゼロショット分類や検索タスクで傑出した結果を達成します。
Data Extraction
"MIMIC-CXR [5]" は 377,110 枚の胸部画像とそれに対応する診断報告書を含むデータセットです。
"CheXpert [6]" は 224,316 枚の胸部画像と意味ラベルを含むデータセットです。
Stats
MIMIC-CXR [5] データセットは 377,110 枚の胸部画像とそれに対応する診断報告書を含んでいます。
CheXpert [6] データセットは 224,316 枚の胸部画像と意味ラベルを含んでいます。
Quotes
"Eye-gaze data can intuitively reflect the image regions radiologists focus on."
"Our model demonstrates robust performance, outperforming other state-of-the-art methods in zero-shot classification and retrieval tasks."