Conceitos Básicos
医療分野におけるビジョン・言語事前学習(VLP)は、ペアデータの不足により制限されている。本研究では、医療画像とレポートを同時に拡張するPairAugアプローチを提案し、これにより医療VLPのパフォーマンスを大幅に向上させることができる。
Resumo
本研究では、医療画像とレポートのペアデータを同時に拡張するPairAugアプローチを提案している。PairAugは2つの異なるブランチから構成される:
- Inter-patient Augmentation (InterAug)
- 大規模言語モデルを使用して、新しい医療レポートを生成する
- 生成したレポートに基づいて、新しい医療画像を合成する
- これにより、元のデータセットに存在しない新しい患者ケースを作成できる
- Intra-patient Augmentation (IntraAug)
- 同じ患者の医療画像を、新しく生成したレポートに基づいて変更する
- これにより、同一患者の多様な医療状態を表現できる新しいペアデータを作成できる
PairAugでは、生成したペアデータの品質を確保するために、2つのデータプルーニング手法を導入している。
- InterAugでは、生成したペアの言語-画像の整合性を評価し、品質の高いものを選別する
- IntraAugでは、生成画像と元の画像の整合性、および生成画像とレポートの整合性を評価し、品質の高いものを選別する
PairAugを用いた広範な実験の結果、医療VLPのベースラインモデルと比較して、ゼロショット分類と微調整の両方で大幅な性能向上が確認された。特に、限られた教師データ環境下でも優れた性能を発揮した。
Estatísticas
重度の心拡大と著明な変化が観察され、肺水腫が存在し、肺は拡張不良で不明瞭である。縦隔陰影と肺門陰影は正常、胸水や気胸は認められない。
中等度の心拡大に変化はなく、肺は良好に拡張され明瞭である。縦隔陰影と肺門陰影は正常、胸水や気胸は認められない。
Citações
「医療分野におけるビジョン・言語事前学習(VLP)は、ペアデータの不足により制限されている。」
「本研究では、医療画像とレポートを同時に拡張するPairAugアプローチを提案し、これにより医療VLPのパフォーマンスを大幅に向上させることができる。」