針對少量標註樣本的主動式自我半監督學習

Core Concepts

在標註樣本有限的情況下，本文提出了一種名為主動式自我半監督學習 (AS3L) 的框架，透過利用自我監督預訓練的知識來引導半監督學習過程，從而提升模型效能。

Abstract

書目資訊

Wen, Z., Pizarro, O., & Williams, S. (2024). Active Self-Semi-Supervised Learning for Few Labeled Samples. Neurocomputing. Retrieved from arXiv:2203.04560v3 [cs.CV]

研究目標

本研究旨在解決在標註數據有限的情況下，如何有效地利用自我監督預訓練來提升半監督學習模型的效能。

方法

本研究提出了一種名為主動式自我半監督學習 (AS3L) 的框架，該框架主要包含以下步驟：

1. 自我監督預訓練： 使用 SimSiam 方法對整個數據集進行自我監督預訓練，以獲得有價值的特徵表示。
2. 主動標籤樣本選擇： 基於預訓練的特徵表示，採用聚類方法選擇最具代表性的樣本進行標註。
3. 先驗偽標籤生成： 利用標註樣本，透過在預訓練特徵空間中進行標籤傳播，為未標註樣本生成先驗偽標籤。
4. 先驗偽標籤引導的半監督學習： 將先驗偽標籤與模型預測結合，引導半監督學習過程，並透過切換機制逐步轉換為僅使用模型預測的偽標籤。

主要發現

• 在標註樣本數量有限的情況下，僅依靠自我監督預訓練的權重初始化並不能有效地將有價值的資訊傳遞給半監督模型。
• AS3L 框架可以有效地利用自我監督預訓練的知識，透過先驗偽標籤引導半監督學習過程，從而顯著提升模型效能。
• AS3L 框架在多個圖像分類數據集上，特別是在標註樣本極度有限的情況下，表現優於現有的半監督學習方法。
• 相較於僅使用自我監督預訓練初始化的方法，AS3L 框架可以顯著加快模型的收斂速度。

主要結論

AS3L 框架提供了一種有效的方法，可以將自我監督預訓練的知識遷移到半監督學習模型中，尤其是在標註數據有限的情況下，可以顯著提升模型效能和收斂速度。

研究意義

本研究為解決標註數據稀缺問題提供了一種新的思路，並為半監督學習領域的發展做出了貢獻。

局限與未來研究方向

• 本研究主要關注圖像分類任務，未來可以探討 AS3L 框架在其他機器學習任務中的應用。
• 未來可以進一步研究更有效的主動學習策略和先驗偽標籤生成方法，以進一步提升 AS3L 框架的效能。

Stats

在 CIFAR-10 數據集上，使用 10 個標註樣本時，AS3L 的準確率達到 83.80%，而僅使用自我監督預訓練初始化的 FlexMatch 方法的準確率僅為 59.13%。
在 CIFAR-100 數據集上，使用 200 個標註樣本時，AS3L 的準確率達到 48.40%，而僅使用自我監督預訓練初始化的 FlexMatch 方法的準確率僅為 36.58%。
在 ImageNet 數據集上，使用 0.2% 的標註樣本時，AS3L 結合 FixMatch-EMAN 方法的 Top-1 準確率達到 40.4%，而僅使用自我監督預訓練初始化的 FixMatch-EMAN 方法的 Top-1 準確率僅為 32.7%。
相較於僅使用自我監督預訓練初始化的 FlexMatch 方法，AS3L 框架在達到相同準確率的情況下，所需的訓練時間縮短了約 2/3。

Quotes

"Training deep models with limited annotations poses a significant challenge when applied to diverse practical domains."
"Employing semi-supervised learning alongside the self-supervised model offers the potential to enhance label efficiency."
"However, this approach faces a bottleneck in reducing the need for labels."
"We observed that the semi-supervised model disrupts valuable information from self-supervised learning when only limited labels are available."
"To address this issue, this paper proposes a simple yet effective framework, active self-semi-supervised learning (AS3L)."

Key Insights Distilled From

Active Self-Semi-Supervised Learning for Few Labeled Samples

by Ziting Wen, ... at arxiv.org 11-05-2024

https://arxiv.org/pdf/2203.04560.pdf

Deeper Inquiries

除了圖像分類任務，AS3L 框架還可以應用於哪些其他機器學習任務？

AS3L 框架的核心思想是利用自監督學習的先驗知識來提升半監督學習在少量標註樣本情況下的效能。這種思想可以應用於許多其他的機器學習任務，而不僅限於圖像分類。以下列舉一些潛在的應用方向：

目標檢測： AS3L 可以被應用於目標檢測任務中，特別是在訓練數據集只包含少量標註框的情況下。例如，可以先使用自監督學習方法 (如 MoCo, SimCLR) 在大規模無標註圖像數據集上預訓練模型，然後使用 AS3L 框架，結合少量標註框數據和大量無標註數據，對模型進行微調。
語義分割： 類似於目標檢測，語義分割任務也需要大量的像素級標註，成本高昂。AS3L 可以利用自監督學習預訓練的模型，結合少量像素級標註數據和大量無標註數據，提升模型的分割精度。
視頻分析： 視頻分析任務通常需要處理大量的視頻數據，而標註視頻數據非常耗時。AS3L 可以利用自監督學習方法 (如 Time Contrastive Learning) 在無標註視頻數據上預訓練模型，然後使用 AS3L 框架，結合少量標註數據和大量無標註數據，提升模型在視頻分析任務上的效能。
醫學影像分析： 醫學影像數據的標註通常需要專業醫生的參與，成本高昂且難以獲得大量數據。AS3L 可以利用自監督學習方法在公開的醫學影像數據集上預訓練模型，然後使用 AS3L 框架，結合少量標註數據和大量無標註數據，提升模型在特定醫學影像分析任務上的效能。
總之，AS3L 框架可以應用於各種需要處理少量標註樣本的機器學習任務，特別是那些可以從自監督學習中獲益的任務。

如果標註預算不是主要限制因素，AS3L 框架相比於傳統的半監督學習方法還有哪些優勢？

即使標註預算充足，AS3L 框架相比於傳統的半監督學習方法仍然具備以下優勢：

更快的收斂速度： AS3L 利用自監督學習得到的先驗偽標籤 (PPL) 來引導半監督學習，為模型提供了一個良好的初始化點，從而加速模型的收斂。
更高的模型泛化能力： 自監督學習鼓勵模型學習數據本身的結構和語義信息，這些信息有助於模型更好地泛化到未見數據。因此，AS3L 框架訓練得到的模型通常具有更好的泛化能力。
更有效的特徵表示： AS3L 框架中的自監督學習階段可以幫助模型學習到更有效的特徵表示，這些特徵表示可以提升模型在半監督學習階段的效能。
然而，需要注意的是：

額外的計算成本： AS3L 框架需要額外的計算成本來進行自監督學習預訓練和偽標籤生成。
超參數調整： AS3L 框架引入了額外的超參數，例如自監督學習的超參數和偽標籤生成的超參數，這些超參數需要進行調整以獲得最佳效能。
在實際應用中，需要根據具體的任務需求和資源限制，權衡 AS3L 框架的優缺點，選擇合適的學習策略。

如何將 AS3L 框架的思想應用於解決其他領域中，例如自然語言處理或語音識別，的少量標註樣本問題？

AS3L 框架的核心思想是利用自監督學習的先驗知識來提升半監督學習在少量標註樣本情況下的效能，這種思想可以應用於自然語言處理 (NLP) 或語音識別等領域。以下是一些可行的思路：
自然語言處理 (NLP)：

預訓練語言模型 + AS3L： 可以使用大規模無標註文本數據，利用自監督學習方法 (如 BERT, GPT) 預訓練語言模型，然後將預訓練的模型作為特徵提取器，結合少量標註數據和大量無標註數據，使用 AS3L 框架進行微調，例如在文本分類、命名實體識別等任務上。
數據增強 + AS3L： 針對 NLP 任務，可以利用現有的數據增強技術，例如同義詞替換、回譯等，生成更多的訓練數據，然後結合 AS3L 框架，提升模型在少量標註數據下的效能。
跨語言遷移學習 + AS3L： 可以利用資源豐富的語言 (如英文) 的數據，訓練一個自監督學習模型，然後將該模型遷移到資源匱乏的語言 (如中文)，並結合 AS3L 框架，利用少量標註數據和大量無標註數據，提升模型在目標語言上的效能。
語音識別：

自監督語音表示學習 + AS3L： 可以使用大規模無標註語音數據，利用自監督學習方法 (如 wav2vec, Mockingjay) 學習語音表示，然後將學習到的表示作為特徵，結合少量標註數據和大量無標註數據，使用 AS3L 框架訓練語音識別模型。
多任務學習 + AS3L： 可以將語音識別任務與其他相關的語音任務 (如語音增強、說話人識別) 結合起來，利用多任務學習框架，在少量標註數據下提升模型的整體效能。
總之，AS3L 框架的思想可以應用於 NLP 和語音識別等領域，解決少量標註樣本的問題。關鍵在於如何根據具體的任務和數據特點，設計合適的自監督學習方法、數據增強策略以及半監督學習框架，將 AS3L 框架的優勢發揮出來。