Core Concepts
注意力の過度の集中を抑えることで、スライド画像全体の分類における過剰適合を軽減する。
Abstract
本論文では、スライド画像全体の分類における過剰適合の問題に取り組む。過剰適合の主な原因は、注意力メカニズムが少数の識別的なインスタンスに集中してしまうことにある。
まず、UMAP分析により、識別的なインスタンスには様々なパターンが存在し、従来の注意力メカニズムはそのうちの一部しか捉えられないことを示す。そこで、Multiple Branch Attention (MBA)を提案し、複数の注意力ブランチを用いてより多様な識別的なインスタンスを捉えることで、この問題に対処する。
次に、Top-K注意力スコアの累積値を分析し、わずかなインスタンスが大部分の注意力を占めていることを明らかにする。これに対して、Stochastic Top-K Instance Masking (STKIM)を提案し、Top-Kのインスタンスの一部をランダムにマスクすることで、残りのインスタンスにより注意力を割り当てる。
MBA とSTKIMを組み合わせたACMILは、3つのスライド画像データセットにおいて、最先端の手法を大きく上回る性能を示す。さらに、ヒートマップの可視化やUMAP分析を通じて、ACMILが注意力の集中を抑制し、過剰適合に対処できることを実証する。
Stats
少数のインスタンスが大部分の注意力を占めている。例えば、CAMELYON16データセットでは、Top-10のインスタンスが全体の85%以上の注意力を占めている。
ACMILを用いることで、Top-10のインスタンスが占める注意力の割合を0.6まで低減できる。
Quotes
注意力メカニズムが少数の識別的なインスタンスに集中することは、過剰適合につながる可能性がある。
様々なパターンを持つ識別的なインスタンスを捉えるためには、複数の注意力ブランチが有効である。
少数のインスタンスが大部分の注意力を占めるのを抑制することで、過剰適合を軽減できる。