Active Generalized Category Discovery: Addressing Challenges in GCD with AGCD

Core Concepts

Proposing Active Generalized Category Discovery (AGCD) to address challenges in Generalized Category Discovery (GCD).

Abstract

Generalized Category Discovery (GCD) faces challenges in clustering both old and new classes. AGCD introduces an adaptive sampling strategy, Adaptive-Novel, to select valuable samples for labeling. A stable label mapping algorithm ensures consistent training across different active selection stages. AGCD achieves state-of-the-art performance on various datasets.

Stats

Our method improves the new accuracy of GCD by 25.52%/23.49% on CUB/Air with only ∼ 2.5 samples labeled per class.
In ImageNet-100, our method reduces the gap between old and new accuracy from ∼ 28% to 13.72%.
Our method consistently outperforms others across different scenarios and settings.

Quotes

Key Insights Distilled From

Active Generalized Category Discovery

by Shijie Ma,Fe... at arxiv.org 03-08-2024

https://arxiv.org/pdf/2403.04272.pdf

Deeper Inquiries

Can deep learning models actively select a small number of unlabeled samples for labeling to enhance category discovery

ディープラーニングモデルは、積極的に少数の未ラベルサンプルを選択してラベリングすることでカテゴリー発見を向上させることができます。提案されたAdaptive-Novel戦略では、新規性、情報量、およびサンプルの多様性を考慮し、適切な不確実性を持つサンプルを選択します。この方法により、限られた予算内で効果的にカテゴリー発見が改善されます。

Does solely sampling more novel class samples necessarily lead to better performance

単に新しいクラスのサンプルを増やすだけでは必ずしもパフォーマンスが向上するわけではありません。重要な点は、異なる種類のサンプルの価値を考慮することです。Adaptive-Novel戦略は新規性、情報量、および多様性の側面からサンプル選択を行うため、全体的なパフォーマンス向上に寄与します。

How does Adaptive-Novel address the challenges of imbalanced accuracy and confidence in GCD

Adaptive-NovelはGCD（Generalized Category Discovery）で直面する問題である不均衡な精度と信頼度にどう取り組んでいるか次第です。

不均衡な精度：Adaptive-Novel戦略では新しいクラスから優先してサンプリングすることで古いクラスと新しいクラス間の精度差を軽減します。
信頼度：AGCD後でも古いクラスと新しいクラス間の信頼度差が縮小されています。これは安定した結果へ導く一因です。またEMA（Exponential Moving Average）モデルも使用して一貫したマッピング関数計算に貢献しています。