Core Concepts
ステレオ内視鏡画像の高解像度化と外科器具の正確な識別を統合したハイブリッドモデルを提案し、従来手法を上回る性能を実現した。
Abstract
本研究では、ステレオ内視鏡画像の高解像度化と外科器具のセグメンテーションを統合したSEGSRNetモデルを提案した。
スーパーリゾリューション部では、以下の手法を採用している:
特徴抽出・精製ブロック: 注意機構を組み込んだCCSBブロックと、ASPP、RDBを用いて特徴を深化させる
クロスビュー特徴相互作用モジュール: 多スケール注意機構を用いて、ステレオ画像間の特徴統合と遮蔽領域の補完を行う
再構成ブロック: 特徴融合と画質向上のためのRDB、チャネル注意層などを組み合わせる
セグメンテーション部では、エンコーダ-デコーダ構造のSPP-LinkNet-34を採用し、マルチスケール特徴抽出による高精度なバイナリ、パーツ、タイプセグメンテーションを実現した。
提案手法は、ベンチマークデータセットにおいて、従来手法を上回る超解像度と外科器具セグメンテーションの性能を示した。これにより、ロボット支援手術における画像解像度の向上と器具識別精度の向上に貢献できる。
Stats
Dataset 1とDataset 2を用いた評価結果は以下の通り:
スーパーリゾリューション(PSNR/SSIM):
倍率2倍: 42.41/0.9879 (Dataset 1), 41.87/0.9965 (Dataset 2)
倍率4倍: 36.01/0.9768 (Dataset 1), 38.33/0.9924 (Dataset 2)
セグメンテーション(IOU/Dice):
バイナリ: 83.65%/89.80%
パーツ: 66.87%/76.93%
タイプ: 15.96%/23.79%
Quotes
"SEGSRNetは、ステレオ内視鏡画像の高解像度化と外科器具の正確な識別を統合したハイブリッドモデルである。"
"提案手法は、ベンチマークデータセットにおいて、従来手法を上回る超解像度と外科器具セグメンテーションの性能を示した。"