從不確定到清晰：利用語義擴展通過有限生物醫學樣本的不確定性引導的類增量學習

核心概念

提出一種新的類增量學習方法ESSENTIAL，通過測量樣本的累積熵來選擇最具代表性的樣本作為記憶庫的樣本，並利用細粒度語義擴展來增強模型對新舊類別的學習能力，同時採用餘弦分類器來緩解類別不平衡和長尾分佈帶來的分類偏差。

要約

本文提出了一種新的類增量學習方法ESSENTIAL,旨在解決生物醫學領域中有限樣本情況下的類增量學習問題。

首先,作者提出了一種名為Uncertainty Trajectory Analyzer (UTA)的動態記憶模塊,通過測量樣本的累積熵來選擇最具代表性的樣本作為記憶庫的樣本。這種方法可以有效地追蹤模型在訓練過程中對每個樣本的預測不確定性,並選擇最具挑戰性的樣本作為記憶庫的樣本,以幫助模型在增量學習過程中保留之前學習的知識。

其次,作者提出了一種Fine-Grained Semantic Expansion模塊,通過對每個類別進行更細粒度的語義擴展,增強了模型在特徵空間中對新舊類別的學習能力,緩解了由於新舊類別樣本數量差異導致的類別重疊問題。

最後,作者採用了餘弦分類器,有效地緩解了由於類別不平衡和長尾分佈導致的分類偏差問題。

在兩個生物醫學數據集PathMNIST和BloodMNIST上的實驗結果表明,ESSENTIAL方法在類增量學習的準確率上顯著優於現有的方法,最高可達53.54%的提升。

統計

在BloodMNIST數據集上,ESSENTIAL方法在最後一個會話的準確率為99.89%,而其他方法如SAVC、TEEN、Bidist、FSCIL、WaRP-CIFSL和GKEAL分別為98.95%、98.28%、93.66%、99.19%、98.39%和99.19%。
在PathMNIST數據集上,ESSENTIAL方法在最後一個會話的準確率為99.91%,而其他方法如SAVC、TEEN、Bidist、FSCIL、WaRP-CIFSL和GKEAL分別為98.92%、98.21%、93.58%、99.15%、98.34%和99.15%。

引用

"在真實的臨床環境中,數據分佈隨時間而變化,新的有限疾病病例不斷湧現。因此,類增量學習具有重大意義,即深度學習模型需要學習新的類別知識,同時保持對先前疾病的準確識別。"
"傳統的深度神經網絡在適應新數據時,通常會嚴重遺忘先前的知識,除非從頭開始訓練,這不僅耗時而且計算量大。"
"類別不平衡或長尾分佈可能導致模型偏差,使模型過度關注之前學習的類別,從而偏離新類別。"

抽出されたキーインサイト

From Uncertainty to Clarity: Uncertainty-Guided Class-Incremental Learning for Limited Biomedical Samples via Semantic Expansion

by Yifei Yao, H... 場所 arxiv.org 09-13-2024

https://arxiv.org/pdf/2409.07757.pdf

深掘り質問

如何進一步提高ESSENTIAL方法在生物醫學領域的泛化能力?

要進一步提高ESSENTIAL方法在生物醫學領域的泛化能力，可以考慮以下幾個策略：

增強數據擴充技術：除了目前的細粒度語義擴展模塊，還可以引入更多的數據增強技術，如隨機裁剪、顏色抖動和噪聲添加等，這些技術能夠幫助模型學習到更具魯棒性的特徵，從而提高對新類別的識別能力。

多任務學習：將ESSENTIAL方法與多任務學習相結合，通過同時訓練相關任務（如分類和分割），可以促進模型學習到更豐富的特徵表示，進而提高其泛化能力。

自適應學習率：在訓練過程中使用自適應學習率調整策略，根據模型在不同類別上的表現動態調整學習率，這樣可以更好地適應不同類別的學習需求，減少過擬合的風險。

跨域學習：考慮將ESSENTIAL方法應用於不同的生物醫學數據集，通過跨域學習來提高模型的泛化能力。這可以通過轉移學習或領域適應技術來實現，使模型能夠在不同的數據分佈下保持良好的性能。

ESSENTIAL方法是否可以應用於其他領域的類增量學習問題?

ESSENTIAL方法的設計理念和技術框架使其具備在其他領域的類增量學習問題中應用的潛力。具體而言：

計算機視覺：在計算機視覺領域，特別是面對不平衡數據集和長尾分佈的情況下，ESSENTIAL方法可以通過其不確定性引導的示例選擇和細粒度語義擴展技術，幫助模型更好地學習新類別，減少遺忘。

自然語言處理：在自然語言處理中，隨著新詞彙和語言用法的出現，類增量學習同樣重要。ESSENTIAL方法可以通過其不確定性分析和示例回放機制，幫助模型在面對新語言現象時保持對舊知識的記憶。

金融風險評估：在金融領域，隨著市場環境的變化，類增量學習可以幫助模型適應新的市場趨勢。ESSENTIAL方法的特性可以用於選擇最具信息量的歷史數據，從而提高風險評估的準確性。

ESSENTIAL方法是否可以與聯邦學習或分布式學習等技術相結合,以提高在醫療數據隱私保護方面的性能?

ESSENTIAL方法可以與聯邦學習或分布式學習技術相結合，以提高在醫療數據隱私保護方面的性能，具體方式如下：

數據隱私保護：聯邦學習允許模型在本地設備上進行訓練，從而避免將敏感的醫療數據上傳到中央伺服器。ESSENTIAL方法可以在本地設備上進行類增量學習，利用不確定性引導的示例選擇來提高模型的學習效率，同時保護患者隱私。

模型協同訓練：在分布式學習環境中，ESSENTIAL方法可以通過協同訓練不同設備上的模型，實現知識的共享和增強。這樣可以在不暴露數據的情況下，利用多個設備的學習成果來提高模型的泛化能力。

動態更新：結合聯邦學習的動態更新機制，ESSENTIAL方法可以在每次增量學習後，將更新的模型參數回傳至中央伺服器，進一步提升整體模型的性能，並確保在不同醫療機構之間的知識共享。

強化學習策略：在聯邦學習中引入強化學習策略，根據模型在不同任務上的表現動態調整學習策略，這樣可以進一步提高ESSENTIAL方法在醫療數據隱私保護方面的性能。