Concepts de base
本文提出了一個名為 X-RGen 的放射學報告生成框架,該框架模仿放射科醫生的思維過程,通過跨解剖區域的分析和醫學知識整合,生成與影像語義一致且診斷相關的報告。
本研究提出了一種名為 X-RGen 的新型放射學報告生成框架,旨在解決現有方法僅關注胸部區域且缺乏複雜模式識別能力的問題。X-RGen 模仿放射科醫生的行為,將報告生成過程分解為四個主要階段:初始觀察、跨區域分析、醫學解釋和報告形成。
X-RGen 的運作機制
**初始觀察:**採用圖像編碼器提取影像中的關鍵特徵,模擬放射科醫生初步審查影像的過程。
**跨區域分析:**通過分析來自不同解剖區域的影像和報告,增強圖像編碼器的識別能力,模擬放射科醫生如何從過去的案例中獲得經驗並提高專業能力。
**醫學解釋:**引入多個解剖區域的放射學知識,從臨床角度進一步分析特徵,模擬放射科醫生運用專業知識解釋影像的過程。
**報告形成:**使用典型的自回歸文本解碼器,根據醫學增強的特徵生成報告。
實驗結果
在涵蓋六個不同解剖區域(胸部、腹部、膝蓋、臀部、手腕和肩部)的合併數據集上進行的實驗表明,X-RGen 在自然語言生成和臨床效度指標方面均優於現有方法。
提出了一種受放射科醫生行為啟發的跨多個解剖區域生成報告的框架 X-RGen。
通過跨區域分析增強圖像識別能力,改善跨解剖區域的圖像和報告之間的一致性。
整合放射學特定知識,減輕報告生成過程中忽略罕見但關鍵術語的問題。
在七個關於不同解剖區域的數據集上驗證了 X-RGen 的優越性。