核心概念
這篇研究探討利用去噪擴散概率模型 (DDPMs) 生成合成醫學影像及其對應的標註點熱圖,以增強用於解剖學標註點定位 (ALL) 的監督式深度學習模型的訓練。
文獻資訊
Hadzic, A., Bogensperger, L., Joham, S. J., & Urschler, M. (2024). Synthetic Augmentation for Anatomical Landmark Localization using DDPMs. arXiv preprint arXiv:2410.12489v1.
研究目標
本研究旨在探討利用去噪擴散概率模型 (DDPMs) 生成合成醫學影像及其對應的標註點熱圖,以解決醫學影像資料取得和標註成本高昂的問題,並增強用於解剖學標註點定位 (ALL) 的監督式深度學習模型的訓練。
方法
使用包含 895 張左手二維 X 光影像的公開資料集,每張影像包含 37 個由 Payer 等人 (2019) 提供的真實標註點。
設計一個基於 DDPM 的模型,學習將雜訊樣本轉換為乾淨的輸入樣本,輸入樣本包含兩個通道:手部二維 X 光影像和指示真實標註點的對應熱圖影像。
使用馬可夫隨機場 (MRF) 模型和統計形狀模型 (SSM) 自動評估生成影像的品質,選擇具有真實特徵的影像/熱圖對作為合成資料。
將 DDPM 模型與變分自編碼器 (VAE) 模型進行比較,評估生成影像品質。
使用 NFDP 方法作為基準,比較僅使用真實影像訓練和結合 DDPM 合成影像訓練的效能差異。
主要發現
與僅使用真實影像訓練的 NFDP 方法相比,結合 DDPM 合成影像進行訓練在減少較大離群值方面表現出更好的結果,這對於分割等依賴準確識別標註點的下游任務至關重要。
在訓練資料有限的情況下,結合 DDPM 合成資料訓練 ALL 網路可以減少較大半徑的離群值數量,顯示出 DDPM 合成影像在提高 ALL 穩健性方面的潛力。
與 VAE 模型相比,DDPM 模型在生成影像品質方面表現更佳,尤其是在訓練資料有限的情況下。
主要結論
本研究結果顯示,利用 DDPM 生成合成醫學影像及其對應的標註點熱圖可以有效增強監督式深度學習模型在解剖學標註點定位方面的訓練。
意義
本研究為解決醫學影像資料取得和標註成本高昂的問題提供了一種新的解決方案,並為提高解剖學標註點定位的準確性和穩健性做出了貢獻。
限制和未來研究方向
未來研究可以探討 DDPM 與 GANs 的比較,並探索如何加速 DDPM 的採樣過程。
未來研究可以進一步評估 DDPM 合成影像對其他醫學影像分析任務(如分割和配準)的影響。
統計資料
資料集包含 895 張左手二維 X 光影像。
每張影像包含 37 個真實標註點。
FullDataset 實驗中,訓練集包含 597 張影像,測試集包含 298 張影像。
ReducedDataset 實驗中,訓練集包含初始訓練集中隨機選擇的 10% 影像,測試集保持不變。
DDPM 模型在 FullDataset 設置中實現了 40% (± 3% SD) 的平均接受率。
VAE 模型在 FullDataset 設置中實現了 3% (± 3% SD) 的平均接受率。
當訓練資料限制為 60 張影像時,DDPM 模型實現了 26% (± 5% SD) 的平均接受率,而 VAE 模型無法生成逼真的影像。