基於 SAM 家族模型在零樣本學習設定下對斷層掃描影像進行骨骼分割之能力探討

แนวคิดหลัก

本文評估了 SAM 家族模型在零樣本學習設定下對斷層掃描影像進行骨骼分割的能力，發現基於邊界框的提示策略表現最佳，並提供初步的二維非迭代提示策略指南。

บทคัดย่อ

論文資訊

Magg, C., Kervadec, H., & Sánchez, C. I. (2024). Zero-shot capability of SAM-family models for bone segmentation in CT scans. arXiv preprint arXiv:2411.08629v1.

研究目標

本研究旨在評估 Segment Anything Model (SAM) 家族模型在零樣本學習設定下，對電腦斷層掃描 (CT) 影像進行骨骼分割的能力。

研究方法

• 本研究使用一個包含 80 個 CT 掃描的私有數據集，涵蓋肩部、手腕和膝蓋三個骨骼區域。
• 評估了四種 SAM 家族模型：SAM、SAM2、Med-SAM 和 SAM-Med2D，並測試了 32 種非迭代提示策略，包括單一類型提示（邊界框、中心點、質心、正樣本點）、邊界框加點組合提示和基於點的組合提示。
• 使用 Dice 相似係數 (DSC) 和 95% 豪斯多夫距離 (HD95) 作為評估指標，並測量模型推理時間。

主要發現

• 基於邊界框的提示策略表現最佳，無論是單獨使用還是與點提示結合使用。
• 在不同模型和數據集中，表現最佳的提示策略都是基於邊界框的。
• 對於 SAM2 模型（SAM2 T 除外），最佳點組合是中心點加 5 個負樣本點；對於 SAM 模型，最佳點組合是 5 個正樣本點和負樣本點。
• 最佳的單一類型點提示對於 SAM2 模型（SAM2 T 除外）是 5 個正樣本點，對於 SAM 模型是 10 個正樣本點。
• 表現最差的提示策略是質心點。

主要結論

SAM 家族模型在零樣本學習設定下對 CT 影像進行骨骼分割具有潛力，基於邊界框的提示策略表現最佳。

研究意義

本研究為 SAM 家族模型在臨床環境中用於骨骼分割提供了有價值的見解和初步指南。

研究限制與未來方向

• 私有數據集規模較小，未來將擴展數據集以包含更多骨骼區域。
• 未考慮人為標註錯誤和交互式提示策略的影響，未來將探討這些因素。
• 未評估三維提示策略，未來將針對具有三維能力的模型進行測試。

สถิติ

數據集包含 80 個 CT 掃描，涵蓋肩部、手腕和膝蓋三個骨骼區域。
測試了 32 種非迭代提示策略。
使用 Dice 相似係數 (DSC) 和 95% 豪斯多夫距離 (HD95) 作為評估指標。
Sam B with bounding box + center 5C 的平均 DSC 最高，為 92.5%，HD95 為 1.7 毫米。
Sam L with bounding box + center 1C 的 HD95 最低，為 1.1 毫米，DSC 為 92.1%。
258 種方法中有 59 種的 DSC 高於 91%，其中 28 種是 SAM 方法，31 種是 SAM2 方法。
43 種方法的 HD95 低於 2 毫米，其中 23 種是 SAM 方法，20 種是 SAM2 方法。

คำพูด

"Our results show that the best settings depend on the model type and size, dataset characteristics and objective to optimize."
"Overall, Sam and Sam2 prompted with a bounding box in combination with the center point for all the components of an object yield the best results across all tested settings."
"As the results depend on multiple factors, we provide a guideline for informed decision-making in 2D prompting with non-interactive, “optimal” prompts."

ข้อมูลเชิงลึกที่สำคัญจาก

Zero-shot capability of SAM-family models for bone segmentation in CT scans

by Caro... ที่ arxiv.org 11-14-2024

https://arxiv.org/pdf/2411.08629.pdf

สอบถามเพิ่มเติม

除了骨骼分割之外，SAM 家族模型在其他醫學影像分割任務中的表現如何？

除了骨骼分割，SAM 家族模型在其他醫學影像分割任務中也展現出一定的潛力，但表現會因應任務和數據集而異。
優勢：

零樣本學習能力： SAM 家族模型最大的優勢在於其強大的零樣本學習能力，即使未在特定任務的數據集上進行微調，也能取得不錯的分割效果。這對於缺乏大量標註數據的醫學影像領域尤為重要。
多樣化的提示方式： SAM 家族模型支持多種提示方式，例如邊界框、點選、文字描述等，這為使用者提供了更靈活的交互方式，也使其能適應更廣泛的醫學影像分割任務。
對大型、邊界清晰結構的分割效果較好： 研究表明，SAM 家族模型在分割大型、邊界清晰的結構（例如器官、腫瘤等）時表現出色。
劣勢：

對小型、邊界模糊結構的分割效果欠佳： SAM 家族模型在分割小型、邊界模糊的結構（例如血管、神經等）時表現仍有待提升。
易受成像方式和數據集差異的影響： 不同醫學影像的成像方式和數據集特性差異較大，SAM 家族模型在跨模態、跨數據集的泛化能力仍需進一步驗證和提升。
微調後可能降低泛化能力： 雖然微調可以提升 SAM 家族模型在特定任務上的表現，但也可能降低其在其他任務上的泛化能力。
其他醫學影像分割任務的應用：

腫瘤分割： SAM 家族模型已應用於腦腫瘤、肺結節等腫瘤的分割，並取得了與專用模型相當的性能。
器官分割： SAM 家族模型在心臟、肝臟、腎臟等器官分割任務中也展現出一定的潛力。
病變區域分割： SAM 家族模型可用於分割肺炎病灶、腦梗塞區域等病變區域。
總體而言，SAM 家族模型為醫學影像分割提供了一種新的思路，但仍需針對具體任務和數據集進行評估和優化，才能更好地應用於臨床實踐。

如果考慮人為標註錯誤和交互式提示策略，SAM 家族模型的表現是否會下降？

是的，如果考慮人為標註錯誤和交互式提示策略，SAM 家族模型的表現可能會下降。
人為標註錯誤的影響：

提示信息不準確： 人為標註的邊界框或點選位置可能存在偏差，導致模型無法準確識別目標區域。
標註標準不一致： 不同標註者對同一結構的理解和標註標準可能存在差異，導致模型訓練數據的噪聲增加，影響模型性能。
交互式提示策略的影響：

提示效率降低： 交互式提示需要使用者不斷修正模型的預測結果，這會增加標註時間和工作量。
累積誤差： 使用者在交互過程中可能會引入新的錯誤，這些錯誤會累積到後續的預測中，影響最終的分割結果。
如何減輕人為因素的影響：

提高標註質量： 採用更嚴格的標註標準，對標註者進行充分培訓，並使用輔助工具來提高標註的準確性和一致性。
開發更魯棒的模型： 研究更魯棒的 SAM 家族模型變體，使其對提示信息中的噪聲和誤差更加不敏感。
結合其他技術： 將 SAM 家族模型與其他醫學影像分析技術相結合，例如影像配準、影像融合等，以提高分割的準確性和效率。
總之，人為標註錯誤和交互式提示策略是影響 SAM 家族模型在醫學影像分割中應用的重要因素。未來研究需要關注如何減輕這些因素的影響，才能更好地發揮 SAM 家族模型的優勢。

如何將 SAM 家族模型與其他醫學影像分析技術（如影像配準、影像融合）相結合，以提高診斷和治療的準確性和效率？

將 SAM 家族模型與其他醫學影像分析技術相結合，可以充分利用不同技術的優勢，提高診斷和治療的準確性和效率。以下是一些結合方式：
1. 影像配準 + SAM 家族模型：

目的： 將不同時間、不同設備、不同模態的醫學影像對齊到同一坐標系下，以便於比較和分析。
結合方式：

利用配準後的影像提供更完整的解剖信息，輔助 SAM 模型進行更精確的分割。例如，可以使用配準後的 CT 和 MRI 影像，同時分割骨骼和軟組織。
利用 SAM 模型分割出的目標區域，作為配準的參考或約束條件，提高配準的精度。例如，可以使用 SAM 模型分割出的腫瘤區域，引導不同時期的影像配準，更準確地評估腫瘤的變化。
2. 影像融合 + SAM 家族模型：

目的： 將不同模態醫學影像的信息融合到一起，提供更全面的診斷依據。
結合方式：

利用 SAM 模型分割出的區域，作為融合的掩膜或權重，突出顯示感興趣區域，提高融合效果。例如，可以將 SAM 模型分割出的病灶區域與原始影像融合，更清晰地顯示病灶的邊界和特征。
利用融合後的影像提供更豐富的信息，輔助 SAM 模型進行更準確的分割。例如，可以使用融合後的 PET/CT 影像，更準確地分割出具有代謝活性的腫瘤區域。
3. 其他醫學影像分析技術 + SAM 家族模型：

影像增強： 在使用 SAM 模型進行分割之前，先對影像進行增強處理，例如降噪、增強對比度等，可以提高分割的準確性。
三維重建： 可以將 SAM 模型分割出的二維結果堆疊成三維模型，更直觀地顯示器官或病變區域的形態和空間位置關係。
定量分析： 可以對 SAM 模型分割出的區域進行定量分析，例如計算體積、表面積等，為臨床診斷和治療提供更精確的數據支持。
總之，將 SAM 家族模型與其他醫學影像分析技術相結合，可以充分發揮各自的優勢，提高醫學影像分析的準確性和效率，為臨床診斷和治療提供更可靠的依據。