CLOSER：一種用於少樣本類別增量學習的改進表示學習方法

핵심 개념

與試圖最大化類間距離的傳統方法相反，CLOSER主張縮小類間距離，以學習更具辨別性和可遷移性的表示，從而提高少樣本類別增量學習的性能。

초록

這篇研究論文提出了一種名為CLOSER的新方法，旨在解決少樣本類別增量學習（FSCIL）中的挑戰。FSCIL的目標是在學習新類別的同時保留對先前學習類別的知識，這是一個需要解決災難性遺忘和過擬合問題的難題。
研究目標
本研究旨在探索有效的表示學習方法，以解決FSCIL中的關鍵挑戰：在已見類別上實現辨別性，同時保持對未見類別的可遷移性。
方法
與以往側重於最大化類間距離以預留表示空間的方法不同，CLOSER主張縮小類間距離。作者認為，在鼓勵類間特徵共享的情況下，更緊密的類間距離可以促進學習更具辨別性和可遷移性的表示。
CLOSER通過結合以下方法實現了這一目標：

使用較低的溫度參數進行交叉熵損失計算，以促進特徵擴散。
使用自監督對比學習（SSC）損失來進一步鼓勵特徵共享。
引入最小化類間距離的新損失函數。
主要發現

傳統的表示擴散方法雖然有利於可遷移性，但在FSCIL的背景下會損害辨別性。
縮小類間距離可以規範類內擴散，從而增強辨別性。
結合表示擴散方法，縮小類間距離可以促進有效學習類間可共享信息，從而提高可遷移性。
CLOSER在CUB200和CIFAR100數據集上均取得了最先進的性能，證明了其在實現辨別性和可遷移性之間取得更好平衡方面的有效性。
結論
本研究挑戰了FSCIL中關於最大化類間距離的傳統觀念，並提出了一種基於縮小類間距離的新穎方法。基於實驗結果和信息瓶頸理論分析，CLOSER為FSCIL的表示學習提供了一條有前景的研究途徑。
局限性和未來研究方向

本研究主要關注學習對未見類別具有辨別性和可遷移性的表示，未考慮更新表示以適應新類別。
CLOSER目前僅限於分類任務。
未來的研究可以探索將CLOSER擴展到其他領域，例如需要持續學習和適應新概念的場景。此外，研究CLOSER在其他任務（如目標檢測和圖像分割）中的應用也將是有價值的。

통계

在 CUB200 數據集上，CLOSER 在 10-way 5-shot 增量學習設置中，相較於之前最佳方法，將性能下降 (PD) 從 19.35% 降低至 15.82%。
在 CIFAR100 數據集上，CLOSER 在 5-way 5-shot 增量學習設置中，相較於之前最佳方法，將性能下降 (PD) 從 22.50% 降低至 22.40%。
在 miniImageNet 數據集上，CLOSER 在 5-way 5-shot 增量學習設置中，相較於之前最佳方法，在保持較高 AW 的同時，實現了更低的 PD。

핵심 통찰 요약

CLOSER: Towards Better Representation Learning for Few-Shot Class-Incremental Learning

by Junghun Oh, ... 게시일 arxiv.org 10-10-2024

https://arxiv.org/pdf/2410.05627.pdf

더 깊은 질문

在持續學習的背景下，如何有效地更新表示以適應新類別，同時最大程度地減少對舊類別知識的遺忘？

在持續學習中，有效地更新表示以適應新類別，同時最大程度地減少對舊類別知識的遺忘，是研究者們持續探索的議題。以下是一些常用的策略：
1. 基於正則化的遺忘緩解方法：

彈性權重鞏固 (Elastic Weight Consolidation, EWC)： EWC 方法將先前任務中學習到的重要權重進行「鞏固」，透過在損失函數中添加正則化項來限制這些權重的變化幅度，從而減緩對舊任務的遺忘。
線上 EWC (Online EWC)： 線上 EWC 是 EWC 的改進版本，它可以線上更新重要權重的估計，更適用於持續學習場景。
記憶感知突觸(Memory Aware Synapses, MAS)： MAS 方法根據每個參數在過去任務中的重要性為其分配一個「重要性權重」，並在學習新任務時根據重要性權重調整參數更新幅度。
2. 基於回放的遺忘緩解方法：

經驗回放 (Experience Replay)： 經驗回放方法會儲存一部分過去任務的數據，並在學習新任務時將這些數據混合到訓練集中，以幫助模型記住舊知識。
生成回放 (Generative Replay)： 生成回放方法利用生成模型來生成過去任務的數據，並將這些數據用於新任務的訓練，從而避免儲存大量數據。
3. 基於動態架構的遺忘緩解方法：

動態擴展網路 (Dynamically Expanding Networks)： 這種方法會根據新任務的需求動態地增加網路的容量，例如添加新的神經元或層，以適應新知識的學習，同時保留舊知識。
漸進式神經網路 (Progressive Neural Networks)： 漸進式神經網路會為每個任務創建一個新的網路分支，並將這些分支與先前的分支連接起來，以實現知識的累積和遷移。
4. CLOSER 的啟示：
CLOSER 的核心理念在於學習更具辨別性和可遷移性的特徵表示，這對於持續學習也具有重要意義。CLOSER 透過縮小類間距離和鼓勵特徵共享，可以促進模型學習到更通用的特徵，這些特徵更有可能在新任務中發揮作用，從而減緩對舊知識的遺忘。
在實際應用中，可以根據具體的持續學習場景選擇合適的策略，甚至可以組合使用多種策略以達到更好的效果。

如果將類間距離縮小到極致，是否會導致所有類別的表示完全重疊，從而損害模型的辨別能力？

理論上，如果將類間距離縮小到極致，確實有可能導致所有類別的表示完全重疊，從而損害模型的辨別能力。
CLOSER 的平衡：
然而，CLOSER 方法的目標並非將類間距離縮到最小，而是找到一個最佳平衡點。CLOSER 透過結合以下機制來避免類別表示完全重疊：

降低溫度參數： 降低 softmax 交叉熵損失中的溫度參數可以鼓勵特徵在空間中更分散，避免所有特徵都集中在一個點上。
自監督對比學習： 自監督對比學習可以進一步促進特徵分散，並鼓勵模型學習更細粒度的特徵表示。
實驗結果的佐證：
CLOSER 的實驗結果表明，適當縮小類間距離可以提高模型在新類別上的性能，同時不會顯著降低其在舊類別上的性能。這表明 CLOSER 成功地在辨別性和可遷移性之間找到了平衡點。
持續監控和調整：
在實際應用中，可以持續監控模型在不同類別上的性能，並根據需要調整類間距離縮小的程度，以避免類別表示過度重疊。

如何將 CLOSER 的核心理念應用於其他領域，例如自然語言處理或強化學習，以提高模型在動態環境中的適應性？

CLOSER 的核心理念是學習更具辨別性和可遷移性的特徵表示，這對於提高模型在動態環境中的適應性具有普遍意義，可以應用於自然語言處理、強化學習等其他領域。
1. 自然語言處理 (NLP)：

文本分類： 在文本分類任務中，可以使用 CLOSER 的思想來學習更具泛化能力的詞向量或句子向量。例如，可以將不同類別的文本在嵌入空間中拉近，同時鼓勵同一類別文本的嵌入向量更分散，以學習更具可遷移性的文本表示。
機器翻譯： 在機器翻譯任務中，可以使用 CLOSER 的思想來學習更具語義信息的詞向量，例如，可以將不同語言中具有相同含义的詞彙在嵌入空間中拉近，以學習更具可遷移性的詞向量，從而提高翻譯模型的性能。
預訓練語言模型： 在預訓練語言模型中，可以使用 CLOSER 的思想來設計新的預訓練任務，例如，可以設計一個任務，要求模型將不同領域或不同風格的文本在嵌入空間中拉近，以學習更具泛化能力的語言模型。
2. 強化學習 (RL)：

狀態表示學習： 在強化學習中，狀態表示學習至關重要。可以使用 CLOSER 的思想來學習更具信息量和泛化能力的狀態表示。例如，可以設計一個輔助任務，鼓勵模型將不同任務或不同環境中的狀態表示在嵌入空間中拉近，以學習更具可遷移性的狀態表示。
策略遷移： 在多任務強化學習中，可以使用 CLOSER 的思想來促進策略遷移。例如，可以設計一個損失函數，鼓勵模型將不同任務的策略表示在嵌入空間中拉近，以促進知識遷移，從而加速新任務的學習。
總之而言，CLOSER 的核心理念可以應用於任何需要學習特徵表示的領域，以提高模型在動態環境中的適應性。
需要注意的是，在將 CLOSER 應用於其他領域時，需要根據具體問題的特点进行相应的调整和优化，例如，需要根据数据的特点设计合适的距离度量方法，以及根据任务需求设计合适的损失函数。