Core Concepts
SAMとCLIPの組み合わせにより、医療画像の特定の臓器を零細に分割することができる。
Abstract
本研究では、SAMとCLIPの機能を組み合わせた統一フレームワークSaLIPを提案している。SAMは画像内のすべての部分を分割することができるが、特定の臓器を分割するためにはドメイン専門知識が必要となる。一方、CLIPは零細認識能力に優れているが、医療画像への適用は課題がある。
SaLIPでは、まずSAMを使って画像内のすべての部分を分割し、次にCLIPを使ってその中から目的の臓器に対応する領域を選択する。最後に、選択された領域を使ってSAMに臓器分割のプロンプトを与え、特定の臓器を分割する。
このように、SAMとCLIPの機能を組み合わせることで、医療画像における零細臓器分割を実現している。実験では、脳MRI、肺X線、胎児超音波の3つのデータセットで評価を行い、従来手法と比較して優れた性能を示している。
Stats
脳MRI (GE 1.5T): DSC 0.92, mIoU 0.87
肺X線: DSC 0.83, mIoU 0.76
胎児超音波: DSC 0.81, mIoU 0.72