핵심 개념
本研究では、教師なし特徴量と弱教師付き特徴量を階層的に活用することで、弱教師付きセマンティックセグメンテーションにおける隣接クラスの消失問題を解決する手法を提案する。
초록
本研究は、弱教師付きセマンティックセグメンテーション(WSS)における重要な課題である隣接クラスの消失問題に取り組んでいる。従来のWSS手法では、クラス活性化マップ(CAM)の伝播過程で隣接するマイナークラスが見落とされる傾向があった。
提案手法DHRでは、以下の3つのステップから成る:
- 最適輸送に基づくシード初期化: CAMを最適輸送に基づいて処理し、消失したマイナークラスのシードを回復する。
- 教師なし特徴量に基づくクラス間領域の再バランシング: 教師なし特徴量を用いて、クラス間の境界を明確に分離する。
- 弱教師付き特徴量に基づくクラス内領域の再バランシング: クラス内の詳細な識別を弱教師付き特徴量で行う。
この階層的なアプローチにより、クラス間の境界と同時にクラス内の細かな領域も正確に分離できるようになる。
提案手法DHRは、5つのベンチマークデータセットで従来手法を大幅に上回る性能を示し、完全教師付きモデルとの差を84%以上縮小することができた。また、DHRをシード生成手法としてSAMに適用することで、最先端の開放語彙セグメンテーションモデルの性能も向上させることができた。
통계
隣接領域は全体の35%を占め、そのうち79%がクラス間領域である(VOCデータセット)
隣接領域は全体の75%を占め、そのうち55%がクラス間領域である(COCOデータセット)
인용구
"WSS研究の主な焦点は、画像レベルのタグからプセウドマスクを生成し、クラス活性化マップ(CAM)の伝播によってピクセルレベルのアノテーションを模倣することにある。"
"隣接するピクセルが異なるクラス(例えば、人とオートバイ)から混在することで、空間的に小さいクラスが消失する問題が特に顕著である。"