Alapfogalmak
EchoPrimeは、心エコー図ビデオの包括的な評価を実行する、マルチビュー、ビュー情報に基づく、ビデオベースのディープラーニングアルゴリズムです。
研究の概要
本研究論文では、包括的な心エコー図評価のための、マルチビュー、ビュー情報に基づく、ビデオベースのディープラーニングアルゴリズムであるEchoPrimeを紹介します。EchoPrimeは、1,200万本以上のビデオと専門家の解釈を対にしたもので、コントラスト学習を用いてトレーニングされており、複数のビデオからのデータを統合して包括的な解釈を提供するように設計されています。
研究目的
心エコー図は、心臓の構造と機能を評価するために超音波ビデオデータを取得する、最も広く使用されている心臓画像診断法です。心エコー図における人工知能(AI)は、手動タスクを合理化し、再現性と精度を向上させる可能性を秘めています。しかし、ほとんどの心エコー図AIモデルは、完全な検査中に取得された複数のビューからの補完的な情報を統合しない、単一ビュー、単一タスクのシステムであるため、適用範囲とパフォーマンスが制限されています。この問題に対処するために、1,200万を超えるビデオレポートペアでトレーニングされた、マルチビュー、ビュー情報に基づく、ビデオベースのビジョン言語基盤モデルであるEchoPrimeを紹介します。
方法
EchoPrimeは、シーダース・サイナイ医療センター(CSMC)の108,913人の患者の275,442件の研究からの12,124,168本の心エコー図ビデオとペアになったテキストレポートを用いてトレーニングされました(表1)。EchoPrimeは、ビデオエンコーダー、テキストエンコーダー、ビュー分類器、解剖学的注意モジュールなど、心エコー図の解釈に不可欠な複数のモジュールで構成されています(図1)。ビデオエンコーダーとテキストエンコーダーは、サンプリングされた心エコー図ビデオクリップと対応する心臓専門医のレポートテキストに対してコントラスト学習を用いてトレーニングされ、ビデオとテキストの結合表現空間を学習します。ビュー分類モデルは、77,426本の超音波検査技師がラベル付けしたビデオを用いてトレーニングされ、Bモードおよびカラードプラビデオを58の標準的な心エコー図ビューに分類し、解剖学的注意モジュールによって使用されて、多重インスタンス学習を用いて、各心エコー図ビデオの解釈タスクに対する相対的な重要性を決定します。推論中、EchoPrimeは、各ビデオにビューを割り当て、ビデオをコントラストのあるビデオテキスト結合潜在空間にマッピングし、最後に解剖学的注意モジュールによって導かれた研究解釈を取得することにより、エコー研究の包括的な解釈を提供します。
結果
CSMCからの内部検証コホートとスタンフォードヘルスケア(SHC)からの外部検証コホートにおいて、EchoPrimeは、以前に開発された基盤モデルとタスク固有の心エコー図AIモデルの両方のパフォーマンスを上回りました(表2)。心臓の形態と機能に関する多様なベンチマークセットにおいて、EchoPrimeは、以前に心エコー図AIモデルが存在しなかったタスクや、タスク固有のAIモデルが存在するタスクを含む、17の分類タスクで平均AUC 0.92を達成しました。追加の微調整やトレーニングなしで、EchoPrimeは、左心室収縮不全のR2スコアでEchoNet-Dynamicよりも2%、三尖弁逆流の評価でAUCでEchonet-TRよりも2%、僧帽弁逆流の評価でEchoNet-MRよりも4%、心嚢液貯留と大動脈弁狭窄症のパフォーマンスが向上または同等など、単一タスク予測のための完全に教師ありモデルのパフォーマンスを上回るか、同等の結果を示しました。
結論
EchoPrimeは、心エコー図ビデオの包括的な評価を実行する、マルチビュー、ビュー情報に基づく、ディープラーニングアルゴリズムです。これまでで最も多くの心エコー図データ(既存の心エコー図モデルの10倍以上)を用いてトレーニングされ、解剖学的注意と検索拡張解釈を用いることで、EchoPrimeは心エコー図ビデオの包括的な評価を実行します。
Statisztikák
EchoPrimeは、1,200万本以上のビデオと専門家の解釈を対にしたものでトレーニングされました。
EchoPrimeは、17の分類タスクで平均AUC 0.92を達成しました。
EchoPrimeは、左心室収縮不全のR2スコアでEchoNet-Dynamicよりも2%優れていました。
EchoPrimeは、三尖弁逆流の評価でAUCでEchonet-TRよりも2%優れていました。
EchoPrimeは、僧帽弁逆流の評価でEchoNet-MRよりも4%優れていました。