MRSegmentator：適用於 MRI 和 CT 掃描中 40 個類別的多模態分割模型

核心概念

MRSegmentator 是一種深度學習模型，能夠準確分割 MRI 和 CT 影像中的 40 個解剖結構，為醫學影像研究提供有價值的自動化工具。

摘要

論文資訊

標題：MRSegmentator：適用於 MRI 和 CT 掃描中 40 個類別的多模態分割模型
作者：Hartmut Häntze 等人
發表日期：2024 年 11 月 18 日
期刊：預印本，arXiv:2405.06463v3 [eess.IV]

研究目標

本研究旨在開發並評估一種深度學習模型，用於 MRI 掃描的多器官分割，解決現有 MRI 分割工具的局限性，特別是在全身應用方面。

方法

研究人員使用來自英國生物銀行 (UKBB)、內部數據集和 TotalSegmentator CT 數據集的數據訓練模型。他們採用了一種「人在迴路中」的標註流程，利用現有 CT 分割模型的跨模態遷移學習來分割 40 個解剖結構。模型的性能在來自德國國家隊列 (NAKO) 研究、AMOS22 數據集和 TotalSegmentator-MRI 測試數據的 MRI 檢查中進行了評估。

主要發現

• MRSegmentator 在明確器官（肺部：DSC 0.96，心臟：DSC 0.94）和具有解剖變異性的器官（肝臟：DSC 0.96，腎臟：DSC 0.95）中表現出高精度。
• 較小的結構顯示出較低的精度（門靜脈/脾靜脈：DSC 0.64，腎上腺：DSC 0.69）。
• 在使用 NAKO 數據進行的外部驗證中，平均 DSC 從 T2-HASTE 的 0.85 ± 0.08 到同相序列的 0.91 ± 0.05 不等。
• 該模型很好地泛化到 CT，在 AMOS CT 數據上實現了 0.84 ± 0.11 的平均 DSC。

主要結論

MRSegmentator 可以準確分割不同數據集和成像協議中 MRI 的 40 個解剖結構，並具有對 CT 影像的額外泛化能力。這種開源模型將為醫學影像研究中的自動化多器官分割提供有價值的工具。

研究意義

• 開發了一種適用於 MRI 和 CT 影像的統一多器官分割模型。
• 證明了跨模態學習和「人在迴路中」標註在 MRI 分割中的有效性。
• 為醫學影像研究提供了一個強大且可公開訪問的分割工具。

局限性和未來研究方向

• 訓練數據集中的解剖變異性可能有限。
• 觀察到的基於性別的性能差異需要更平衡的訓練數據集。
• 未來的工作可以集中於擴展支持的解剖結構和病理狀況的範圍。

统计

該模型在 1,200 個來自英國生物銀行的手動標註 3D 軸向 MRI 掃描、221 個內部 MRI 掃描和 1228 個來自 TotalSegmentator 數據集的 CT 掃描上進行了訓練。
MRSegmentator 在明確器官（如肺部：DSC 0.96，心臟：DSC 0.94）和具有解剖變異性的器官（如肝臟：DSC 0.96，腎臟：DSC 0.95）中表現出高精度。
較小的結構顯示出較低的精度，特別是門靜脈/脾靜脈（DSC 0.64）和腎上腺（DSC 0.69）。
在使用 NAKO 數據進行的外部驗證中，平均 DSC 從 T2-HASTE 序列的 0.85 ± 0.08 到同相序列的 0.91 ± 0.05 不等。
該模型很好地泛化到 CT，在 AMOS CT 數據上實現了 0.84 ± 0.11 的平均 DSC。

引用

从中提取的关键见解

MRSegmentator: Multi-Modality Segmentation of 40 Classes in MRI and CT

by Hart... 在 arxiv.org 11-18-2024

https://arxiv.org/pdf/2405.06463.pdf

更深入的查询

MRSegmentator 如何應用於臨床實務，例如協助診斷、治療規劃和疾病監測？

MRSegmentator 作為一個能夠精準分割 MRI 和 CT 影像中 40 種解剖結構的深度學習模型，在臨床實務中具有廣泛的應用前景，能有效協助醫生進行診斷、治療規劃和疾病監測：
1. 協助診斷:

腫瘤體積測量: MRSegmentator 能精準分割出腫瘤區域，自動計算腫瘤體積，輔助醫生進行腫瘤分期，評估腫瘤惡性程度，並制定更精準的治療方案。
器官大小和形態評估: 模型能自動分割和測量器官體積，例如肝臟、腎臟等，幫助醫生診斷器官腫大、萎縮等病變，並評估疾病嚴重程度。
病灶定位: MRSegmentator 能精確分割出病灶區域，例如腫瘤、炎症等，幫助醫生更直觀地了解病灶的位置、大小和形態，提高診斷效率和準確性。
2. 治療規劃:

手術規劃: MRSegmentator 可以精準分割出腫瘤和周圍器官，幫助醫生制定更安全、有效的手術方案，例如在手術中避開重要血管和神經等。
放射治療靶區勾畫: 模型能自動勾畫出需要照射的腫瘤區域，以及需要保護的周圍正常器官，提高放療的精準度和安全性。
藥物劑量評估: MRSegmentator 可以根據患者的器官體積和功能，輔助醫生計算更精準的藥物劑量，提高治療效果，減少藥物副作用。
3. 疾病監測:

療效評估: MRSegmentator 可以通過比較治療前後腫瘤體積和器官形態的變化，幫助醫生評估治療效果，及時調整治療方案。
疾病進展監測: 模型可以定期對患者的影像數據進行分割和分析，幫助醫生監測疾病進展情況，預測疾病發展趨勢，及早採取干預措施。
總之，MRSegmentator 作為一個高效、精準的醫學影像分割工具，在臨床實務中具有巨大的應用潛力，可以有效輔助醫生進行診斷、治療規劃和疾病監測，提高醫療水平，造福更多患者。

模型在處理具有嚴重偽影或影像品質不佳的 MRI 掃描時表現如何？

雖然 MRSegmentator 在多個數據集上表現出穩健的分割性能，但在處理具有嚴重偽影或影像品質不佳的 MRI 掃描時，其分割精度可能會受到一定影響。

運動偽影: MRSegmentator 的訓練數據包含一定程度的運動偽影，因此模型對輕微的運動偽影有一定的容忍度。但嚴重的運動偽影會導致影像模糊、邊緣失真，影響模型的分割精度，尤其是在分割體積較小或對比度較低的解剖結構時。
金屬偽影: 金屬植入物會產生嚴重的偽影，導致影像失真，影響 MRSegmentator 的分割精度。目前，模型尚未針對金屬偽影進行專門的訓練和優化。
低信噪比: 低信噪比會降低影像的對比度和清晰度，影響 MRSegmentator 的分割精度。模型在分割信噪比較低的影像時，可能會出現分割邊緣不準確、誤分割等問題。
為了提高 MRSegmentator 在處理具有嚴重偽影或影像品質不佳的 MRI 掃描時的性能，可以採取以下措施：

影像預處理: 在進行分割之前，對影像進行預處理，例如降噪、去偽影等，可以提高影像品質，改善模型的分割效果。
模型優化: 針對特定類型的偽影，例如運動偽影、金屬偽影等，對模型進行專門的訓練和優化，提高模型的魯棒性和抗干擾能力。
結合其他信息: 在進行分割時，可以結合其他信息，例如患者的臨床資料、影像檢查報告等，輔助模型進行更準確的分割。

如何進一步提升 MRSegmentator 的分割精度，特別是在處理體積較小或對比度較低的解剖結構時？

提升 MRSegmentator 的分割精度，特別是在處理體積較小或對比度較低的解剖結構時，可以從以下幾個方面入手：
1. 數據方面:

增加訓練數據的多樣性: 目前 MRSegmentator 的訓練數據主要來自 UK Biobank，未來可以考慮納入更多樣化的數據，例如不同種族、年齡、性別、病理類型的患者數據，以及不同廠家、不同場強的 MRI 掃描數據，提高模型的泛化能力。
針對特定結構擴充數據: 針對體積較小或對比度較低的解剖結構，例如血管、神經等，可以通過數據增強技術，例如旋轉、平移、缩放、彈性變形等，擴充訓練數據，提高模型對這些結構的分割精度。
提高數據標註的精度: 數據標註的精度直接影響模型的分割性能。可以邀請更有經驗的醫生參與數據標註，或者採用多位醫生聯合標註的方式，提高標註的準確性和一致性。
2. 模型方面:

優化網絡結構: 可以嘗試使用更先進的網絡結構，例如 Transformer、圖神經網絡等，提高模型的特征提取和分割能力。
引入注意力機制: 注意力機制可以幫助模型更加關注重要的特征，例如體積較小或對比度較低的解剖結構，提高模型對這些結構的分割精度。
多模態融合: 可以嘗試將 MRI 影像與其他模態的影像數據，例如 CT、PET 等，進行融合，利用不同模態影像的互補信息，提高分割精度。
3. 訓練策略方面:

採用更先進的訓練策略: 例如 curriculum learning，先用簡單的數據訓練模型，再逐步增加數據的難度，可以幫助模型更好地學習數據特征，提高分割精度。
使用更合适的損失函數: 針對體積較小或對比度較低的解剖結構，可以設計更合适的損失函數，例如 Dice Loss、Focal Loss 等，提高模型對這些結構的分割精度。
4. 後處理方面:

採用形態學操作: 例如腐蝕、膨脹等，可以消除分割結果中的噪聲和孤立點，提高分割精度。
結合先驗知識: 例如解剖學知識，對分割結果進行修正，例如去除不可能出現的分割區域，提高分割結果的合理性。
總之，提升 MRSegmentator 的分割精度是一個系統工程，需要從數據、模型、訓練策略、後處理等多個方面進行優化。相信隨著技術的進步和研究的深入，MRSegmentator 的分割精度將會不斷提高，為臨床實踐提供更加精準、可靠的影像分析工具。