使用預期效用(EU)評估人工智慧輔助的排除裝置在乳房攝影篩檢中的效用

Concetti Chiave

本文探討使用預期效用(EU)作為評估人工智慧輔助的排除裝置在乳房攝影篩檢中的效用的替代指標,以解決敏感性和特異性指標在回顧性模擬研究中的局限性。

Sintesi

本文探討了使用預期效用(EU)和陽性/陰性預測值(PPV/NPV)作為評估人工智慧輔助的排除裝置在乳房攝影篩檢中效用的替代指標。

首先,作者回顧了兩種評估指標:

1. PPV/NPV:可以解決敏感性和特異性指標在回顧性模擬研究中的局限性,但需要知道所有患者的真實結果。
2. EU:基於效用理論,可以使用大型回顧性數據集評估,不需要知道所有患者的真實結果。

接著,作者將這兩種方法應用於兩項最近發表的回顧性模擬研究:

1. 美國研究:無論使用PPV/NPV還是EU,都無法證明人工智慧輔助的排除裝置能顯著提高篩檢效果。但EU下降幅度在排除30%患者以內時並不顯著。
2. 歐洲研究:由於缺乏歐洲雙重閱讀篩檢的基準EU值,作者估算了一個基準值,並發現即使排除70%患者,EU下降也只有10%左右。

作者認為,PPV/NPV和EU可以更好地解決回顧性模擬研究中敏感性和特異性指標的局限性,為評估人工智慧輔助的排除裝置提供更有力的證據。此外,EU可以僅使用篩檢率和癌症檢出率計算,更加方便。

Statistiche

乳房攝影篩檢中,每年約有4000萬次檢查。
美國研究中,人工智慧單獨的AUROC為0.85。
美國研究中,放射科醫生的敏感性為90.6%,特異性為93.5%。
美國研究中,人工智慧輔助的放射科醫生的敏感性為90.1%,特異性為94.2%,可排除19.3%的病例。
歐洲研究中,人工智慧的AUROC為0.84。
歐洲研究中,標準篩檢的篩檢率為3.2%,癌症檢出率為0.61%。

Citazioni

無

Approfondimenti chiave tratti da

Use of Expected Utility (EU) to Evaluate Artificial Intelligence-Enabled Rule-Out Devices for Mammography Screening

by Kwok Lung Fa... alle arxiv.org 10-03-2024

https://arxiv.org/pdf/2311.07736.pdf

Domande più approfondite

如何在不同的醫療篩檢情境中估算合適的相對效用基準值?

在不同的醫療篩檢情境中，估算合適的相對效用基準值需要考慮多個因素，包括篩檢的疾病類型、患者的特徵、篩檢方法的特性以及臨床實踐的差異。首先，可以通過回顧文獻來獲取相似篩檢情境下的相對效用數據。例如，對於乳房攝影篩檢，Abbey等人曾經估算出162的相對效用基準值，這是基於美國的篩檢實踐。對於其他疾病或篩檢方法，則需要尋找相應的研究來獲取基準值。
其次，進行實地研究或觀察性研究也是一種有效的方法。這些研究可以收集實際的篩檢數據，並通過計算不同篩檢結果的效用來估算相對效用基準值。特別是在篩檢率、偵測率和假陽性率等指標的基礎上，利用統計模型進行推斷，可以更準確地反映特定篩檢情境的相對效用。
最後，考慮到患者的風險因素和臨床背景，對不同患者群體進行分層分析，可能會導致不同的相對效用基準值。因此，對於每個特定的篩檢情境，應根據具體的臨床數據和患者特徵來調整相對效用基準值，以確保其適用性和準確性。

當放射科醫生使用人工智慧輔助時,他們是否會調整自己的判斷閾值?這會如何影響EU的評估?

當放射科醫生使用人工智慧（AI）輔助時，他們的判斷閾值可能會根據AI的輸出結果進行調整。具體來說，AI系統能夠提供對影像的分析和預測，這可能會影響醫生對於何時進行回診或進一步檢查的決策。由於AI能夠更準確地識別出無病患者，醫生可能會提高其判斷閾值，從而減少不必要的回診。
這種調整會對預期效用（EU）的評估產生影響。當醫生的判斷閾值提高時，可能會導致偵測率（sensitivity）下降，因為一些實際上是陽性的病例可能會被錯過，這會影響到EU的計算。相對地，假陽性率（false positive rate）可能會降低，因為AI的輔助使得醫生能夠更準確地排除無病患者。這樣的變化會使得EU的評估變得更加複雜，因為EU是基於偵測率和假陽性率的綜合考量。
因此，當AI輔助放射科醫生進行篩檢時，必須考慮到這些潛在的判斷閾值調整對EU的影響，並在評估AI輔助的效果時，進行相應的調整和分析，以確保結果的準確性和可靠性。

除了乳房攝影篩檢,EU方法是否也適用於其他類型的醫療篩檢,如肺癌篩檢?

是的，預期效用（EU）方法不僅適用於乳房攝影篩檢，還可以廣泛應用於其他類型的醫療篩檢，包括肺癌篩檢、結腸癌篩檢等。EU方法的核心在於量化不同篩檢結果的效用，這一原則在各種篩檢情境中都是一致的。
在肺癌篩檢中，EU可以用來評估不同篩檢策略的效果，例如低劑量電腦斷層掃描（LDCT）與傳統X光檢查的比較。通過計算不同篩檢方法的偵測率、假陽性率以及相應的效用，EU方法能夠幫助醫療決策者選擇最具成本效益的篩檢方案。
此外，EU方法的靈活性使其能夠根據不同的臨床背景和患者特徵進行調整，這對於多樣化的篩檢需求尤為重要。因此，無論是乳房攝影、肺癌篩檢還是其他類型的篩檢，EU方法都能提供有價值的見解，幫助改善篩檢效果和患者的整體健康結果。