OMH: Structured Sparsity for Unsupervised Semantic Segmentation

Belangrijkste concepten

提案されたOptimally Matched Hierarchy（OMH）による構造化スパース性は、教師なしセマンティックセグメンテーションにおいて有益である。

Samenvatting

この論文では、教師なしセマンティックセグメンテーションのための新しいアプローチであるOptimally Matched Hierarchy（OMH）が提案されています。OMHは、特徴空間に構造化スパース性を導入し、学習された特徴に対して構造化スパース性を逆伝播させます。実験結果は、OMHによる構造化スパース性が教師なしセグメンテーションにとって有益であることを示しています。
1. Abstract:

USS aims to segment images without predefined labels.
Existing methods use self-supervised models and clustering priors.
OMH introduces structured sparsity for better segmentation performance.
2. Introduction:

SS classifies pixels into semantic classes.
USS methods leverage SSL progress for spatially dense features.
Lack of clear class definitions in USS leads to inaccurate clusters.
3. Method:

OMH imposes a hierarchical structure on image regions.
Hierarchical clustering is formulated as an Optimal Transport problem.
Matching loss enforces intersection between cluster activations.
4. Experiments:

Results show OMH outperforms baselines in mIoU and Accuracy.
Tested on COCOStuff, Cityscapes, and Potsdam datasets with ViT backbones.
Ablation study confirms the effectiveness of structured sparsity via OMH.

Statistieken

Hierarchical clustering aims to partition data into clusters with a structured relationship.
Existing algorithms lead to strict partitions and hierarchical relationships.
Hierarchical clustering is used to introduce a soft but sparse relationship within the hierarchy.
The cost-per-mass matrix is computed using the cosine distance between cluster centers.
The optimal transportation plan is found by iteratively solving the optimization problem with constraints on row and column sums.
The L∞ Wasserstein Distance is employed between higher-level and lower-level cluster activations.

Citaten

"Unsupervised Semantic Segmentation (USS) involves segmenting images without relying on predefined labels."
"Our experiments demonstrate that the features learned by our method lead to state-of-the-art performance in USS."
"The learned hierarchy matrix denotes the relationship between cluster centers from different levels of the hierarchy."

Belangrijkste Inzichten Gedestilleerd Uit

OMH

by Bara... om arxiv.org 03-12-2024

https://arxiv.org/pdf/2403.06546.pdf

Diepere vragen

どのようにしてHierarchical Clusteringが画像領域に階層的な構造を導入するのか？

Hierarchical Clusteringは、複数のレベルでクラスタリングを行い、それらのクラスター間に階層的な関係性を導入します。この手法では、異なるレベル（例：上位と下位）で異なる数のクラスターを持つことが可能です。各レベルでは、さまざまな詳細度の特徴に焦点を当てることができます。また、各レベルごとにソフトクラスターアサインメントマトリックスを生成し、これらのマトリックス間で対応付けや比較を行います。

Optimal Transportation問題を解決することでどのように階層的クラスタリングが形成されるのか？

Optimal Transportation問題は、高次レベルから低次レベルへ効率的かつ最適な情報伝達パターン（A(i,i+1)）を見つけ出すために使用されます。この問題解決プロセスではコストパーマッシュマトリックス（C(i,i+1)）が計算され、その後Sinkhornアルゴリズムが使われて最適輸送計画A(i,i+1)が得られます。この最適輸送計画は高次および低次クラスター中心間の関係性や一致度合いを示し、階層的構造化された情報伝達経路を提供します。

L∞ワッサシュタイン距離が高次レベルと低次レベルクラスター活性度を一致させる方法は何か？

L∞ Wasserstein Distanceは、「Joint Cluster Activation Map」と呼ばれる共通活性度マップ(M (i,i+1)) を生成し、「Max-Pooling」操作によって対応する高次および低次クラスター活性度値(ˆM (i,i+1)) を取得します。これにより、「Transported Higher-Level Activations」や「Matched Version of Lower-Level Clusters」も作成されます。「Max-Pooling」操作は理論上L∞ Wasserstein Distance（Villani et al., 2009; Bogachev & Kolesnikov, 2012; Cuturi, 2013）と同等であり，それぞれ位置毎・局所母集団内部相互比較・一致処理方法です。