基於深度學習的 k 空間腦部核磁共振運動估計與基於模型的運動校正：SISMIK

核心概念

本文提出了一種名為 SISMIK 的新型深度學習方法，用於校正腦部核磁共振影像中的運動偽影，該方法直接在 k 空間中估計運動參數，並採用基於模型的校正方法來避免產生幻影。

摘要

本研究論文介紹了一種名為 SISMIK 的創新方法，旨在解決磁振成像 (MRI) 中普遍存在的運動偽影問題。SISMIK 利用深度學習的強大功能，直接在 k 空間中執行運動估計和校正，特別適用於臨床常規腦部二維自旋迴波掃描。
背景
磁振成像是一種強大的非侵入性醫學成像技術，但它對病人運動高度敏感。儘管多年來進行了許多嘗試，但運動校正仍然是一個具有挑戰性的問題，沒有一種通用的方法適用於所有情況。
SISMIK 方法
SISMIK 採用一種回溯方法來處理平面內剛體運動，利用深度神經網路 (DNN) 從 k 空間數據中估計運動參數。與僅依賴於圖像空間信息的方法不同，SISMIK 直接在 k 空間中運行，其中運動偽影由於 k 空間的順序採集而被很好地定位。
深度學習模型
SISMIK 的核心是一個深度卷積神經網路，它在模擬運動偽影的大型數據集上進行訓練。該模型學習 k 空間數據中運動誘發偽影的複雜關係，使其能夠準確估計運動參數。
基於模型的校正
為了避免基於深度學習的圖像到圖像校正方法中可能出現的幻影，SISMIK 採用基於模型的方法進行運動校正。一旦估計了運動參數，就使用非均勻快速傅立葉變換 (NUFFT) 來重建沒有運動偽影的圖像。
評價
SISMIK 在模擬和體內數據集上進行了廣泛的評估。定量和定性結果都證明了該方法在運動參數估計和圖像重建方面的有效性。與現有方法相比，SISMIK 顯示出良好的泛化能力和卓越的性能。
結論
SISMIK 代表了腦部核磁共振運動偽影校正的重大進步。通過利用深度學習和基於模型的校正的優勢，SISMIK 提供了一種強大且可靠的解決方案，可以顯著提高圖像質量和診斷準確性。該方法有可能改善各種臨床應用中的腦部核磁共振成像。

统计

SISMIK 在模擬數據集上對旋轉角度的估計均方根誤差 (RMSE) 約為 0.55 度。
SISMIK 在模擬數據集上對平移的估計 RMSE 約為 0.35 像素。
使用 SISMIK 估計值進行 NUFFT 重建的結果是，中值峰值信噪比 (PSNR) 為 37.8 dB，中值結構相似性指數 (SSIM) 為 0.98。

从中提取的关键见解

SISMIK for brain MRI: Deep-learning-based motion estimation and model-based motion correction in k-space

by Osca... 在 arxiv.org 11-05-2024

https://arxiv.org/pdf/2312.13220.pdf

更深入的查询

SISMIK 方法如何推廣到其他類型的核磁共振掃描序列，例如快速獲取序列？

將 SISMIK 推廣到其他類型的核磁共振掃描序列，例如快速獲取序列，存在一些挑戰：

k空間軌跡差異: SISMIK 目前專為笛卡爾採樣的二維自旋迴波序列設計。快速獲取序列，例如螺旋採樣或徑向採樣，具有更複雜的 k 空間軌跡。SISMIK 的模型需要適應這些軌跡，才能準確估計運動參數。這可能需要修改網絡架構或訓練策略。

運動模型複雜性: 快速獲取序列對運動更敏感，因為它們在更短的時間內採集數據。簡單的剛體運動模型可能不足以描述這些序列中的運動。可能需要更複雜的運動模型，例如考慮平移和旋轉的模型，才能準確校正運動偽影。

數據集大小和多樣性: 訓練深度學習模型需要大量的數據。對於每種新的掃描序列和運動模型，都需要生成新的模擬數據集或收集大量的真實數據。這可能需要大量的計算資源和時間。

以下是一些可能的解決方案：

針對不同 k 空間軌跡訓練專用模型: 可以為每種 k 空間軌跡訓練專用的 SISMIK 模型。這將允許模型學習特定軌跡的運動特徵。
使用更複雜的運動模型: 可以使用更複雜的運動模型，例如仿射變換或可變形配准，來描述更複雜的運動模式。
使用無監督或半監督學習: 可以使用無監督或半監督學習方法來減少對大量標記數據的需求。
總之，將 SISMIK 推廣到其他類型的核磁共振掃描序列需要克服一些挑戰。然而，通過適當的模型修改和訓練策略，SISMIK 有可能成為一種通用的運動校正方法。

基於深度學習的運動校正方法的局限性是什麼，尤其是在處理複雜的病人運動時？

儘管基於深度學習的運動校正方法，如 SISMIK，在醫學影像領域展現出巨大的潛力，但它們在處理複雜的病人運動時仍存在一些局限性：

訓練數據的泛化能力: 深度學習模型的性能很大程度上取決於訓練數據的質量和多樣性。如果訓練數據不能充分代表真實世界中可能遇到的運動類型，模型在處理複雜或未見過的運動時可能會表現不佳。

複雜運動的建模困難: 簡單的剛體運動模型可能不足以描述複雜的生理運動，例如呼吸、心跳或腸道蠕動。更複雜的運動模型需要更多的參數，這會增加模型訓練的難度和計算成本。

解剖結構變化的影響: 深度學習模型通常假設解剖結構是靜態的。然而，在某些情況下，例如心臟成像，解剖結構會隨著時間推移而發生變化。這些變化可能會影響運動估計的準確性。

"幻覺"的風險: 儘管 SISMIK 使用基於模型的重建方法來減少"幻覺"的風險，但並不能完全消除這種可能性。當模型遇到與訓練數據差異很大的數據時，仍然可能會產生不切實際的图像特征。

計算成本: 深度學習模型的訓練和推理過程可能需要大量的計算資源和時間，尤其是在處理高分辨率 3D 圖像時。

為了克服這些局限性，未来的研究可以集中在以下幾個方面：

開發更先進的運動模型: 研究更精確地描述複雜生理運動的模型，例如基於物理的模型或統計模型。
提高訓練數據的泛化能力: 使用更大和更多樣化的數據集來訓練模型，包括不同運動類型、解剖結構和成像參數的數據。
探索新的網絡架構和訓練策略: 開發更適合處理複雜運動和減少"幻覺"風險的網絡架構和訓練策略。
結合基於模型的方法和深度學習: 將深度學習的優勢與基於模型的方法的準確性和可解釋性相結合，以提高運動校正的整體性能。

除了提高圖像質量外，SISMIK 還可以應用於哪些其他醫學成像領域？

除了提高圖像質量外，SISMIK 作為一種深度學習和基於模型的方法相結合的運動估計和校正技術，還可以在以下醫學成像領域發揮作用：

動態成像: SISMIK 可以應用於需要長時間採集數據的動態成像技術，例如動態增強 MRI 或功能性 MRI。通過估計和校正運動，可以提高圖像的時間分辨率和信噪比，從而更好地觀察生理過程。

圖像配准: SISMIK 可以用於將來自不同時間點或不同成像模態的圖像配准。通過準確估計運動參數，可以實現更精確的圖像配准，這對於圖像融合、縱向研究和放射治療計劃至關重要。

運動量化: SISMIK 可以用於量化患者在掃描過程中的運動，例如頭部運動或呼吸運動。這些信息可以用於評估患者的依從性、優化掃描參數或識別可能受益於運動校正技術的患者。

手術導航: SISMIK 可以集成到手術導航系統中，以實時跟踪和校正患者在手術過程中的運動。這可以提高手術的準確性和安全性。

放射治療: SISMIK 可以用於提高放射治療的準確性和精確度。通過在治療過程中跟踪和校正腫瘤和器官的運動，可以減少對周圍健康組織的輻射劑量。
總之，SISMIK 作為一種通用的運動估計和校正技術，具有廣泛的應用前景，可以在多個醫學成像領域提高圖像質量、診斷準確性和治療效果。