Core Concepts
セルフアテンションを組み込んだ医療画像分類モデルは、従来の完全畳み込みモデルと比べて有意な性能向上を示さない。
Abstract
本研究では、医療画像分類タスクにおいて、セルフアテンションメカニズムを組み込んだモデルの性能を評価した。具体的には、ResNet18とEfficientNet-B0に、グローバルセルフアテンションとローカルセルフアテンションを組み込んだモデルを検討した。また、ビジョントランスフォーマーモデルも比較対象とした。
実験の結果、セルフアテンションを組み込んだモデルは、完全畳み込みモデルと比べて有意な性能向上を示さなかった。むしろ、一部のモデルでは性能が有意に低下した。さらに、セルフアテンションを組み込んでも、皮膚病変の非対称性や境界不整などの医学的に重要な特徴を学習できるようにはならなかった。
局所的な可視化を行った結果からも、セルフアテンションによる特徴抽出の改善は見られず、むしろ背景への注意が集中する傾向が観察された。
以上より、単にセルフアテンションを組み込むだけでは、既存の完全畳み込みモデルを超えるパフォーマンスは得られないことが示された。医療画像分析への適用においては、さらなる検討が必要であると結論付けられる。
Stats
皮膚病変の非対称性は多くのモデルで学習されている
皮膚病変の境界不整は多くのモデルで学習されている
皮膚病変の色彩は一部のモデルでのみ学習されている
皮膚病変の皮膚構造は、どのモデルでも学習されていない
Quotes
"セルフアテンションを組み込むだけでは、既存の完全畳み込みモデルを超えるパフォーマンスは得られない"
"医療画像分析への適用においては、さらなる検討が必要である"