PadChest-GR：一個用於生成基於圖像的放射學報告的雙語胸部 X 光數據集

核心概念

PadChest-GR 是一個新穎的雙語胸部 X 光數據集，專為訓練和評估基於圖像的放射學報告生成模型而設計，其特點是包含所有臨床相關發現的全面句子級邊界框註釋。

摘要

簡介

本文介紹了一個名為 PadChest-GR 的新型雙語胸部 X 光數據集，該數據集旨在訓練和評估基於圖像的放射學報告生成 (GRRG) 模型。GRRG 模型的目標是從臨床影像中生成包含個別發現位置的放射學報告。PadChest-GR 數據集是從 PadChest 數據集衍生而來，並透過人工標記了胸部 X 光影像中所有臨床相關發現的句子級邊界框，為訓練 GRRG 模型提供了寶貴的資源。

方法

PadChest-GR 的構建過程如下：

1. 從 PadChest 中選取一個子集，其中包含正面投影的影像，並排除了兒科患者和標記為次優的影像。
2. 使用 Microsoft Azure OpenAI 服務中的 GPT-4 模型，對報告進行處理，提取單一發現句子，將其從西班牙語翻譯成英語，並將其與現有的 PadChest 發現和位置標籤連結起來，並對發現進展進行分類。
3. 一組 14 位放射科醫師審查並使用邊界框對每個影像中的發現進行人工標記，首先剔除影像品質、報告或發現清單有問題的影像，然後為每個發現標記邊界框。

結果

PadChest-GR 是一個公開的雙語數據集，包含 4,555 個具有基於圖像報告的胸部 X 光影像（3,099 個異常和 1,456 個正常），每個影像都包含描述個別存在（陽性）和不存在（陰性）發現的完整句子清單，以英語和西班牙語呈現。PadChest-GR 總共包含 7,037 個陽性發現句子和 3,422 個陰性發現句子。每個陽性發現句子都與由不同讀者標記的最多兩組獨立邊界框相關聯，並具有發現類型、位置和進展的分類標籤。

結論

PadChest-GR 是第一個專為訓練 GRRG 模型而設計的人工標記數據集，用於理解和解釋放射影像和生成的文本。透過包含所有臨床相關發現的詳細位置和全面註釋，它為開發和評估基於胸部 X 光影像的 GRRG 模型提供了寶貴的資源。

統計資料

PadChest-GR 數據集包含 4,555 個胸部 X 光影像，其中 3,099 個異常，1,456 個正常。
數據集中共有 7,037 個陽性發現句子和 3,422 個陰性發現句子。
84.4% 包含陰性發現的報告只有一個陰性發現句子。
11.7% 的陽性發現沒有使用邊界框進行定位。
數據集包含 24 個主要的發現類別，以及其他未分類的發現。

引述

"To the best of our knowledge, PadChest-GR is the first manually curated dataset designed to train GRRG models for understanding and interpreting radiological images and generated text."
"By including detailed localization and comprehensive annotations of all clinically relevant findings, it provides a valuable resource for developing and evaluating GRRG models from CXR images."

從以下內容提煉的關鍵洞見

PadChest-GR: A Bilingual Chest X-ray Dataset for Grounded Radiology Report Generation

by Dani... 於 arxiv.org 11-11-2024

https://arxiv.org/pdf/2411.05085.pdf

深入探究

PadChest-GR 數據集如何促進基於圖像的放射學報告生成模型在臨床實踐中的應用？

PadChest-GR 數據集通過提供大量的雙語胸部 X 光片資料，以及由專業放射科醫師標註的詳細圖像區域和文字描述，為基於圖像的放射學報告生成模型的訓練和評估提供了強大的支持，進而促進其在臨床實踐中的應用。具體而言，PadChest-GR 數據集的貢獻包括：

提供大規模、高品質的訓練數據： PadChest-GR 包含超過 4,500 個胸部 X 光片研究，涵蓋了各種常見的放射學檢查結果，為模型訓練提供了充足的數據基礎。
支持基於區域的報告生成： PadChest-GR 的一大特色是為每個影像中的重要發現都提供了邊界框標註，將文字描述與具體的圖像區域關聯起來。這使得模型能夠學習生成更精確、更易於理解的報告，例如指出“右肺上葉出現浸潤”而非籠統地描述“肺部浸潤”。
促進模型可解釋性： 通過將文字描述與圖像區域關聯起來，PadChest-GR 數據集有助於提高模型的可解釋性。醫生可以直觀地看到模型做出診斷的依據，從而增強對模型的信任度。
支持多語言應用： PadChest-GR 提供西班牙語和英語的雙語標註，有助於開發適用於不同語言環境的放射學報告生成模型。
總之，PadChest-GR 數據集為基於圖像的放射學報告生成模型的發展提供了重要的資源，有助於推動該技術在臨床實踐中的應用，減輕放射科醫師的工作負擔，提高診斷效率和準確性。

除了數據集本身的限制之外，還有哪些因素可能會影響基於圖像的放射學報告生成模型的性能？

除了數據集本身的限制（例如單一醫院數據、圖像品質等）之外，以下因素也可能影響基於圖像的放射學報告生成模型的性能：

模型架構和訓練策略： 選擇合適的模型架構和訓練策略對於模型性能至關重要。例如，基於 Transformer 的模型在自然語言處理任務中表現出色，但在處理醫學影像數據時可能需要進行調整。
圖像特徵提取： 從醫學影像中提取有效的特徵對於模型性能至關重要。傳統的卷積神經網絡在提取圖像特徵方面表現良好，但可能需要與其他技術（例如注意力機制）結合使用，以更好地捕捉醫學影像中的細微差異。
語言模型的泛化能力： 放射學報告生成模型需要將醫學影像特徵轉換為自然語言描述，這需要語言模型具備良好的泛化能力，以處理各種不同的影像特徵和臨床表現。
臨床知識的整合： 放射學報告生成模型的性能可以通過整合臨床知識得到進一步提升。例如，可以將患者的病史、症狀和其他檢查結果作為模型的輸入，以生成更全面、更準確的報告。
評估指標的選擇： 選擇合適的評估指標對於評估模型性能至關重要。傳統的自然語言處理指標（例如 BLEU、ROUGE）可能無法完全反映放射學報告的特殊性，需要結合醫學專業知識設計更合理的評估指標。

如何將 PadChest-GR 數據集的標註方法應用於其他醫學影像模態的數據集構建？

PadChest-GR 數據集的標註方法可以作為範例，應用於其他醫學影像模態的數據集構建，例如：

確定目標任務和影像模態： 首先需要明確數據集的目標任務和適用的醫學影像模態，例如病灶檢測、分割、診斷分類或報告生成等。
選擇合適的標註工具和平台： 根據影像模態和標註需求選擇合適的標註工具和平台，例如 MITK、3D Slicer、ITK-SNAP 等。
制定詳細的標註指南： 制定詳細的標註指南，明確標註標準、術語定義、標註流程等，確保標註的一致性和準確性。
招募和培訓專業醫師： 招募具有相關專業知識的醫師參與數據標註，並對其進行系統的培訓，確保其理解標註指南和操作規範。
實施多輪標註和質量控制： 對同一批數據進行多輪標註，並通過質量控制機制識別和修正標註錯誤，提高數據標註的可靠性。
發布數據集和標註指南： 將構建好的數據集和標註指南公開發布，供其他研究者使用，促進醫學影像分析領域的發展。
例如，可以參考 PadChest-GR 的標註方法，構建用於腦部 MRI 影像的數據集，用於腦腫瘤檢測和分割。具體而言，可以招募經驗豐富的神經放射科醫師，使用專業的醫學影像標註工具，對腦部 MRI 影像進行腫瘤區域的邊界框或像素級別的標註，並提供相應的文字描述。
總之，PadChest-GR 數據集的標註方法為其他醫學影像模態的數據集構建提供了有價值的參考，有助於推動醫學影像分析技術的發展和應用。