醫學影像報告生成 (MRG) 旨在根據醫學影像自動生成詳細的文字報告,是醫學影像領域的一項重要任務。MRG 系統可以通過減少報告撰寫所需的時間和精力來改善放射科工作流程,從而提高診斷效率。
本文提出了一種利用多模態大型語言模型進行自動 MRG 的新方法。具體而言,研究人員採用了 M3D-CLIP 中引入的 3D 視覺變換器 (ViT3D) 影像編碼器來處理 3D 掃描,並使用 Asclepius-Llama3-8B 作為語言模型,通過自回歸解碼生成文字報告。
實驗結果顯示,該模型在 MRG 任務驗證集上取得了 0.3 的平均 Green 分數,在視覺問答 (VQA) 任務驗證集上取得了 0.61 的平均準確率,優於基準模型。
該方法通過在小數據集上微調模型,證明了 ViT3D 對齊 LLaMA3 對自動 MRG 和 VQA 任務的有效性。
該研究提出了一種基於 ViT3D 和 LLaMA3 的自動 MRG 方法,並通過實驗驗證了其有效性。該方法有望應用於臨床實踐,提高放射科工作流程效率和診斷準確率。
Ke Bahasa Lain
dari konten sumber
arxiv.org
Wawasan Utama Disaring Dari
by Siyou Li, Be... pada arxiv.org 10-14-2024
https://arxiv.org/pdf/2410.08588.pdfPertanyaan yang Lebih Dalam