基於多稀疏視圖和多尺度優化校正的雙域展開 CT 重建方法：MVMS-RCN

Основні поняття

本文提出了一種名為 MVMS-RCN 的新型雙域統一框架，用於解決稀疏視圖電腦斷層掃描 (CT) 重建問題，該框架結合了基於模型和基於深度學習方法的優點，通過多視角投影優化和多尺度幾何校正，實現了高效準確的 CT 影像重建。

Анотація

摘要
本研究提出了一種名為 MVMS-RCN 的新型雙域統一框架，用於解決稀疏視圖電腦斷層掃描 (CT) 重建問題。該框架結合了基於模型和基於深度學習方法的優點，旨在克服現有方法的局限性，例如未充分利用投影數據、缺乏與數學理論的聯繫以及難以靈活處理多稀疏視圖重建任務。
主要內容
1. 研究背景

X 射線電腦斷層掃描 (CT) 是一種重要的臨床診斷影像技術，但存在輻射暴露的風險。
稀疏視圖 CT 成像通過減少投影視圖數量來降低輻射劑量，但也導致更不適定的反問題，增加了影像重建的難度。
現有的深度學習和深度展開稀疏視圖 CT 重建方法存在一些局限性，例如未充分利用投影數據、缺乏與數學理論的聯繫以及難以靈活處理多稀疏視圖重建任務。
2. 方法

多視角投影優化模組 R: 該模組通過分析稀疏視圖和全視圖投影誤差，包括 SVR 誤差、SVP 誤差、FVP 誤差和 CVR 誤差，對初始重建結果進行優化。
多尺度幾何校正模組 D: 該模組受多重網格方案的啟發，通過多尺度和多分辨率的卷積塊和 LeakyReLU 層，對目標影像的多尺度幾何誤差進行校正。
3. 實驗結果

在包含 10 個非對比增強胸部 CT 掃描數據集上進行了實驗，並與 FBP、FISTA-TV、RED-CNN、FBPConvNet、DU-GAN、Uformer、DRUNet、PD-Net、ISTA-Net、ISTA-Net+、FISTA-Net、AMP-Net-K、Nest-DGIL 和 DPIR 等方法進行了比較。
實驗結果表明，MVMS-RCN 在 PSNR 和 SSIM 指標上均優於其他現有方法，尤其是在高度稀疏視圖的情況下。
結論

MVMS-RCN 是一種有效的稀疏視圖 CT 重建方法，它結合了基於模型和基於深度學習方法的優點。
多視角投影優化和多尺度幾何校正模組的設計有效地提高了重建影像的品質。
MVMS-RCN 有望應用於各種稀疏視圖 CT 重建任務，並為設計更先進的 CT 重建方法提供新的思路。

Статистика

訓練數據集包含 8 個病人的 2621 張 CT 影像，解析度為 512 × 512。
驗證數據集包含 1 個病人的 340 張 CT 影像，解析度為 512 × 512。
測試數據集包含 1 個病人的 363 張 CT 影像，解析度為 512 × 512。
扇形束投影數據包含 1024 個角度，探測器包含 1024 個像素，源和探測器距離旋轉中心 500 毫米。
平行束投影數據包含 720 個視圖和 729 個探測器。
MVMS-RCN 的階段數 ns 設定為 7。
MVMS-RCN 的多尺度深度 n 設定為 5。
MVMS-RCN 的損失函數權重 γ 設定為 1。

Ключові висновки, отримані з

MVMS-RCN: A Dual-Domain Unfolding CT Reconstruction with Multi-sparse-view and Multi-scale Refinement-correction

by Xiaohong Fan... о arxiv.org 11-22-2024

https://arxiv.org/pdf/2405.17141.pdf

Глибші Запити

MVMS-RCN 如何應用於其他醫學影像模態，例如磁共振成像 (MRI) 或正子斷層掃描 (PET)？

MVMS-RCN 的核心概念是利用深度學習結合多視角投影精煉和多尺度幾何校正來解決稀疏視角 CT 重建問題。這個概念可以應用於其他醫學影像模態，例如 MRI 或 PET，但需要進行一些調整：

數據預處理和正向投影模型: 不同醫學影像模態的數據特性和成像原理不同，需要針對性地設計數據預處理方法和正向投影模型。例如，MRI 影像通常具有較高的信噪比，但可能存在偽影和強度不均勻的問題。PET 影像則具有較低的空間分辨率和較高的噪聲水平。因此，需要根據具體的模態調整 MVMS-RCN 的輸入數據預處理方法和正向投影算子 Ps 和 Pf。
多視角投影精煉模組 R: MVMS-RCN 中的多視角投影精煉模組 R 可以通過學習不同視角投影數據之間的關係來提高重建質量。對於 MRI 和 PET，可以根據其數據特性和成像原理設計相應的投影誤差提取器 σ，並調整 R 模組的網路架構。
多尺度幾何校正模組 D: MVMS-RCN 中的多尺度幾何校正模組 D 可以通過學習不同尺度下的幾何誤差來提高重建質量。對於 MRI 和 PET，可以根據其數據特性和成像原理調整 D 模組的網路架構，例如使用不同的卷積核大小、通道數和激活函數。
總之，MVMS-RCN 的核心概念可以應用於其他醫學影像模態，但需要根據具體的模態進行調整。

在真實世界的臨床環境中，MVMS-RCN 的泛化能力如何？

在真實世界的臨床環境中，MVMS-RCN 的泛化能力可能會受到以下因素的影響：

數據集偏差: MVMS-RCN 的訓練數據集可能無法完全代表真實世界的數據分佈，例如不同廠家的掃描儀、不同的成像參數、不同的病人解剖結構等。這可能會導致模型在真實世界數據上的表現下降。
偽影和噪聲: 真實世界的醫學影像數據通常包含各種偽影和噪聲，例如運動偽影、金屬偽影、散射等。這些偽影和噪聲可能會影響 MVMS-RCN 的重建質量。
計算效率: MVMS-RCN 的計算效率可能無法滿足臨床環境的實時性要求。
為了提高 MVMS-RCN 在真實世界的泛化能力，可以考慮以下策略：

使用更大、更多樣化的數據集進行訓練: 收集來自不同掃描儀、不同成像參數、不同病人解剖結構的數據，可以提高模型的泛化能力。
設計更魯棒的網路架構: 使用更深的網路、更小的卷積核、殘差連接等技術，可以提高模型對噪聲和偽影的魯棒性。
優化模型的計算效率: 使用模型壓縮、模型剪枝等技術，可以降低模型的計算量和内存占用，提高模型的運行速度。

如何進一步優化 MVMS-RCN 的網路架構和訓練策略，以進一步提高重建影像的品質？

以下是一些可以進一步優化 MVMS-RCN 的網路架構和訓練策略的建議：

探索更先進的網路架構: 可以嘗試使用 Transformer、生成對抗網路 (GAN) 等更先進的網路架構來提高重建質量。例如，可以使用 Transformer 來更好地捕捉不同視角投影數據之間的長距離依賴關係，或者使用 GAN 來生成更逼真的重建影像。
引入更豐富的先驗信息: 可以嘗試引入更豐富的先驗信息來指導網路學習，例如解剖結構先驗、紋理先驗等。例如，可以使用圖卷積網路 (GCN) 來建模解剖結構信息，或者使用風格遷移技術來學習紋理信息。
設計更有效的訓練策略: 可以嘗試使用更先進的訓練策略來提高模型的性能，例如課程學習、對抗訓練等。例如，可以使用課程學習來逐步提高訓練數據的難度，或者使用對抗訓練來生成更具挑戰性的訓練樣本。
優化損失函數: 可以嘗試設計更有效的損失函數來指導網路學習，例如感知損失、对抗性损失等。例如，可以使用感知損失來提高重建影像的視覺質量，或者使用对抗性损失来鼓励网络生成更逼真的重建影像。
通過不斷探索和嘗試，相信可以進一步提高 MVMS-RCN 的重建質量，使其更好地服務於臨床應用。