乳がん検診におけるAI支援除外デバイスの期待効用(EU)を用いた評価

核心概念

retrospective studyにおいて、AI支援除外デバイスを用いた場合の乳がん検診の性能評価には、感度・特異度よりも、陽性的中率(PPV)、陰性的中率(NPV)、期待効用(EU)が適切な指標となる。

要約

本研究では、乳がん検診におけるAI支援除外デバイスの性能評価に、PPV/NPVおよびEUを適用した。

PPV/NPVは、デバイス使用時の感度低下と特異度上昇の相反関係を解決できる指標である。しかし、非recalled患者の真の状態が分からないため、PPV/NPVを算出するのが困難な場合がある。

EUは、感度と特異度のトレードオフを考慮した単一の性能指標であり、recalled患者と非recalled患者の情報から算出できる。EUを用いることで、デバイス使用時の性能変化を定量的に評価できる。

米国の研究では、デバイス使用時のEUは有意な改善を示さなかった。一方、欧州の研究では、デバイスによる除外率が高くなるほどEUが低下する傾向がみられたが、30%以下の除外率では性能低下は小さかった。

このように、retrospective studyにおいては感度・特異度よりもPPV/NPVやEUが適切な指標となり、デバイスの性能評価に有用である。

統計

乳がん検診における放射線科医の感度は90.6%、特異度は93.5%である。
AIを除外デバイスとして使用した場合、感度は90.1%、特異度は94.2%となり、19.3%の症例が除外される。
欧州の研究では、AIを用いて30%、50%、70%の患者を除外した場合の再呼び出し率がそれぞれ2.6%、2.1%、1.2%、がん検出率が0.6%、0.58%、0.53%と報告されている。

引用

なし

抽出されたキーインサイト

Use of Expected Utility (EU) to Evaluate Artificial Intelligence-Enabled Rule-Out Devices for Mammography Screening

by Kwok Lung Fa... 場所 arxiv.org 10-03-2024

https://arxiv.org/pdf/2311.07736.pdf

深掘り質問

AIを用いた乳がん検診の性能評価において、感度・特異度以外の指標を用いることの意義は何か?

AIを用いた乳がん検診の性能評価において、感度や特異度以外の指標を用いることは、より包括的で実用的な評価を可能にします。特に、ポジティブ予測値（PPV）やネガティブ予測値（NPV）、期待効用（EU）などの指標は、感度と特異度のトレードオフを考慮し、実際の臨床環境における意思決定に直結する情報を提供します。感度と特異度は、AIが正確に病変を検出できる能力を示しますが、これらの指標は相反する特性を持つため、単独での評価はしばしば曖昧さを生じます。PPVやNPVは、実際の患者の状態に基づく予測の信頼性を示し、EUは異なる検査ワークフローの効用を比較するための有用な手段です。これにより、AIを用いたルールアウトデバイスの導入が、放射線科医の負担軽減や検診の質向上に寄与するかどうかをより明確に評価することができます。

retrospective studyにおいて、放射線科医の判断閾値がAI使用時に変化する可能性についてどのように考えるべきか?

retrospective studyにおいて、放射線科医の判断閾値がAI使用時に変化する可能性は重要な考慮事項です。AIがルールアウトデバイスとして機能する場合、放射線科医はAIの出力に基づいて自らの判断を調整することが期待されます。具体的には、AIが正常と判断した症例を自動的に除外することで、放射線科医はより高い確信を持って残りの症例に集中できるようになります。このような状況では、放射線科医は感度を維持しつつ、特異度を向上させるために、判断閾値を上げる可能性があります。しかし、これはAIの性能や信頼性に依存するため、AIの誤診が発生した場合には、逆に感度が低下するリスクも伴います。したがって、retrospective studyの設計においては、放射線科医の判断閾値の変化を考慮し、AIの影響を正確に評価するための適切な方法論を採用することが求められます。

乳がん検診以外の医療分野でも、EUを用いた性能評価は有効活用できるだろうか?

はい、乳がん検診以外の医療分野でも、期待効用（EU）を用いた性能評価は有効活用できます。EUは、異なる診断テストや治療法の効果を比較するための強力なツールであり、特に感度と特異度のトレードオフが存在する場合に有用です。例えば、心血管疾患のスクリーニングや、がんの早期発見における新しい診断技術の評価においても、EUを用いることで、患者の健康結果に基づいた意思決定を支援することができます。EUは、異なるアウトカムの重要性を考慮に入れた上で、医療の質を向上させるための指標を提供します。したがって、EUは乳がん検診に限らず、さまざまな医療分野において、診断や治療の効果を評価するための有用な指標として活用されるべきです。