基於雙層路由注意力機制的純Transformer網路於恥骨聯合-胎頭分割之應用

Concepts de base

本文提出了一種名為 BRAU-Net 的新型純 Transformer 模型，用於從經會陰超音波影像中分割恥骨聯合和胎頭，並在 FH-PS-AOP 挑戰賽數據集上取得了可比的結果。

Résumé

論文概述

本論文提出了一種名為 BRAU-Net 的新型深度學習模型，用於從經會陰超音波影像中自動分割恥骨聯合和胎頭。該模型採用純 Transformer 架構，並結合了雙層路由注意力機制和跳躍連接，以有效學習局部和全局語義信息。

研究背景

胎頭下降緩慢導致的產程延長會增加母嬰發病率的風險。傳統上，臨床評估胎頭位置主要依靠經陰道指診，但這種方法主觀性強、操作繁瑣且可靠性低。經會陰超音波 (TPU) 已成為一種可行的替代方案，它通過測量胎頭下降過程中經歷的伸展程度（即進展角度，AoP）來評估胎頭位置。然而，從子宮內影像中手動分割恥骨聯合 (SP) 和胎頭非常耗時，且容易受到主觀性和觀察者間差異的影響。

方法

BRAU-Net 模型採用 U-Net 類似結構，由編碼器、瓶頸層、解碼器和跳躍連接組成。其中，編碼器和解碼器均採用 BiFormer 模塊作為基本單元。BiFormer 模塊基於雙層路由注意力機制 (BRA)，首先在粗粒度區域級別過濾掉不相關的鍵值對，然後對聯合路由區域應用細粒度注意力。這種設計使模型能夠有效地學習局部和全局語義信息。

實驗結果

BRAU-Net 模型在 FH-PS-AOP 挑戰賽數據集上進行了評估，並與其他先進方法進行了比較。實驗結果表明，BRAU-Net 模型在胎頭和恥骨聯合分割方面均取得了良好的性能，其 Dice 相似係數 (DSC) 和 Hausdorff 距離 (HD) 等指標均優於其他方法。

結論

本論文提出了一種基於雙層路由注意力機制的純 Transformer 網路 BRAU-Net，用於從經會陰超音波影像中分割恥骨聯合和胎頭。實驗結果表明，BRAU-Net 模型具有良好的分割性能，可以為臨床醫生提供更客觀、準確的胎頭位置評估，有助於優化診斷和決策。

Stats

BRAU-Net 模型在驗證集上，恥骨聯合的 DSC 為 96.59，HD 為 2.19；胎頭的 DSC 為 95.42，HD 為 97.76。
在最終測試階段，BRAU-Net 模型的綜合評分為 89.74。

Citations

"Manual segmentation of the symphysis pubis (SP) and fetal head from intrauterine images is currently considered the most dependable method, but it is exceptionally time-consuming and susceptible to subjectivity and significant inter-observer variability."
"The results demonstrate that the proposed BRAU-Net achieves a comparable final score."

Idées clés tirées de

Pubic Symphysis-Fetal Head Segmentation Using Pure Transformer with Bi-level Routing Attention

by Pengzhou Cai... à arxiv.org 11-15-2024

https://arxiv.org/pdf/2310.00289.pdf

Questions plus approfondies

除了胎頭和恥骨聯合分割之外，BRAU-Net 模型是否可以應用於其他醫學影像分割任務？

是的，BRAU-Net 模型的應用不限於胎頭和恥骨聯合分割，它具有良好的泛化能力，可以應用於其他醫學影像分割任務。
BRAU-Net 模型的優勢在於：

基於 U-Net 架構: U-Net 架構在醫學影像分割領域應用廣泛，BRAU-Net 繼承了其優勢，例如能夠處理不同大小的影像，並在分割任務中表現出色。
純 Transformer 模型: Transformer 模型在自然語言處理領域取得了巨大成功，近年來也逐漸應用於計算機視覺領域，並展現出強大的性能。BRAU-Net 採用純 Transformer 模型，可以更好地捕捉影像中的長距離依赖关系，提高分割精度。
雙層級路由注意力機制: BRA 機制可以有效地过滤掉不相關的區域，將注意力集中在重要的區域，提高模型的效率和準確性。

因此，BRAU-Net 模型可以應用於其他醫學影像分割任務，例如：

器官分割: 例如肝臟、腎臟、肺部等器官的分割，可以用於輔助診斷、手術規劃等。
病灶分割: 例如腫瘤、病變區域的分割，可以用於輔助診斷、病情評估、治療方案制定等。
細胞分割: 例如癌細胞、白細胞等細胞的分割，可以用於輔助診斷、藥物研發等。
需要注意的是，在將 BRAU-Net 模型應用於其他醫學影像分割任務時，需要根據具體任務對模型進行微調，例如調整模型的輸入大小、網絡深度、超參數等，以達到最佳的分割效果。

Transformer 模型通常需要大量的訓練數據，BRAU-Net 模型在小樣本數據集上的表現如何？

您提出的關於 Transformer 模型在小樣本數據集上表現的問題非常重要。確實，Transformer 模型通常需要大量的訓練數據才能達到理想的性能。
BRAU-Net 模型雖然基於 Transformer，但論文中並未明確說明其在小樣本數據集上的表現。 根據經驗，如果直接將 BRAU-Net 模型應用於小樣本數據集，可能會出現過擬合的問題，導致模型泛化能力下降。
為了提升 BRAU-Net 模型在小樣本數據集上的表現，可以考慮以下策略：

數據增強: 通過對現有數據進行旋轉、翻轉、裁剪、變形等操作，可以擴充數據集的規模，增加數據的多樣性，提高模型的泛化能力。
遷移學習: 可以先使用大規模的公開數據集（例如 ImageNet）對 BRAU-Net 模型進行預訓練，然後再使用小樣本數據集對模型進行微調。這樣可以利用預訓練模型中學習到的通用特征，加速模型的收斂，並提高模型的泛化能力。
結合其他模型: 可以嘗試將 BRAU-Net 模型與其他擅長處理小樣本數據的模型（例如，基於圖像的元學習模型）相結合，以提升模型在小樣本數據集上的表現。

總之，BRAU-Net 模型在小樣本數據集上的表現還有待進一步驗證。可以通過數據增強、遷移學習、模型融合等策略來提升模型在小樣本數據集上的性能。

如何將 BRAU-Net 模型與其他醫學影像分析技術（例如，影像配准、影像增強）相結合，以構建更全面的臨床決策支持系統？

將 BRAU-Net 模型與其他醫學影像分析技術相結合，可以构建更全面的临床决策支持系统，为医生提供更准确、更可靠的诊断依据。以下是一些具体的结合方式：
1. 影像配准:

多模态影像融合: BRAU-Net 可以用于分割单一模态的医学影像，例如超声影像。通过影像配准技术，可以将超声影像与其他模态的影像（例如 CT、MRI）进行配准，并将 BRAU-Net 的分割结果映射到其他模态的影像上，实现多模态影像的融合，提供更全面的信息。
纵向分析: 对于需要进行长期跟踪的疾病，例如肿瘤的生长情况，可以通过影像配准技术将不同时间点获取的影像进行配准，并利用 BRAU-Net 对不同时间点的影像进行分割，从而实现对病灶的纵向分析，评估治疗效果。
2. 影像增强:

提高分割精度: 在某些情况下，由于影像质量较差，例如噪声较大、对比度较低，可能会影响 BRAU-Net 的分割精度。可以通过影像增强技术对影像进行预处理，例如去噪、增强对比度等，以提高 BRAU-Net 的分割精度。
提取更多特征: 影像增强技术还可以用于提取更多影像特征，例如纹理特征、形状特征等，这些特征可以与 BRAU-Net 的分割结果相结合，用于构建更全面的疾病模型，提高诊断的准确性。
3. 其他技术:

影像检索: 可以利用 BRAU-Net 的分割结果进行影像检索，例如检索具有相似病灶形态的影像，为医生提供参考。
三维重建: 可以将 BRAU-Net 的二维分割结果进行三维重建，更直观地展示病灶的空间形态，辅助医生进行手术规划。
构建更全面的临床决策支持系统:
将 BRAU-Net 与其他医学影像分析技术相结合，可以构建更全面的临床决策支持系统，例如：

自动诊断系统: 系统可以自动完成影像预处理、分割、特征提取、疾病分类等步骤，辅助医生进行快速诊断。
治疗方案推荐系统: 系统可以根据患者的影像信息、病史信息等，推荐个性化的治疗方案。
预后预测系统: 系统可以根据患者的影像信息、治疗信息等，预测患者的预后情况，为医生制定治疗方案提供参考。
总而言之，BRAU-Net 模型与其他醫學影像分析技術的结合，具有巨大的应用潜力，可以为临床医生提供更强大的工具，提高诊断和治疗水平，最终造福患者。