透過低秩適應微調預訓練音頻模型提高異常聲音檢測

核心概念

本文提出了一種基於自監督學習和預訓練模型的新穎系統,通過利用音頻預訓練模型並採用低秩適應(LoRA)微調的方法,在DCASE 2023 Task 2數據集上取得了顯著的性能提升,達到了77.75%的評估集成績,較之前最佳模型提高了6.48%。

摘要

本文提出了一種用於異常聲音檢測(ASD)的新穎系統,主要包括以下內容:

探索了多種預訓練音頻模型在ASD任務中的表現,包括Wav2Vec2、Qwen-Audio、BEATs和CED等。結果顯示,在AudioSet上預訓練的模型一致優於在語音相關任務上預訓練的模型。

採用低秩適應(LoRA)微調的方法,相比於完全微調,可以顯著減少計算資源的需求,同時保持了模型在下游任務上的性能。通過實驗分析,確定了LoRA中超參數r的最佳值為64。

進一步探索了LoRA參數在不同Transformer層和參數矩陣中的影響。結果表明,v矩陣和靠近輸出層的參數對結果影響更大。

提出了三種LoRA參數調整策略,其中將後半部分v矩陣維度增加1.5倍的方法在評估集上取得了新的最高成績,達到77.75%。

與之前SOTA模型相比,本文提出的方法在DCASE 2023 Task 2數據集上取得了顯著的性能提升,充分展示了音頻預訓練模型和LoRA微調在提高ASD泛化能力方面的潛力。

統計資料

本文方法在DCASE 2023 Task 2數據集上取得了77.75%的評估集成績,較之前最佳模型提高了6.48%。
在不同機器類型上,本文方法的AUC分數大多優於之前的SOTA模型。

引述

"本文提出了一種基於自監督學習和預訓練模型的新穎系統,通過利用音頻預訓練模型並採用低秩適應(LoRA)微調的方法,在DCASE 2023 Task 2數據集上取得了顯著的性能提升。"
"結果表明,在AudioSet上預訓練的模型一致優於在語音相關任務上預訓練的模型。"
"通過實驗分析,確定了LoRA中超參數r的最佳值為64。"

從以下內容提煉的關鍵洞見

Improving Anomalous Sound Detection via Low-Rank Adaptation Fine-Tuning of Pre-Trained Audio Models

by Xinhu Zheng,... 於 arxiv.org 09-12-2024

https://arxiv.org/pdf/2409.07016.pdf

深入探究

如何進一步提高基於LoRA的微調方法在ASD任務上的泛化能力?

要進一步提高基於低秩適應（LoRA）的微調方法在異常聲音檢測（ASD）任務上的泛化能力，可以考慮以下幾個策略：

增強數據多樣性：透過進一步的數據增強技術，如時間扭曲、頻率扭曲和隨機噪聲添加，來擴展訓練數據集的多樣性。這樣可以幫助模型更好地學習到不同環境下的聲音特徵，從而提高其泛化能力。

多任務學習：將ASD任務與其他相關任務（如音頻分類或音頻標記）結合進行多任務學習。這樣可以促進模型學習到更豐富的特徵表示，從而提高在ASD任務上的表現。

調整LoRA參數：根據不同的ASD任務特性，調整LoRA的低秩矩陣的維度和結構。實驗表明，對於音頻任務，選擇合適的低秩維度（如r=64）能夠顯著提升模型性能。

層次微調：針對Transformer模型的不同層進行選擇性微調，特別是對於靠近輸出的層進行更細緻的調整，這樣可以更好地捕捉到與異常聲音相關的特徵。

增強模型的正則化：引入正則化技術，如Dropout或L2正則化，以防止過擬合，從而提高模型在未見數據上的表現。

除了LoRA,是否還有其他高效的微調策略可以應用於ASD任務?

除了LoRA，還有多種高效的微調策略可以應用於異常聲音檢測（ASD）任務：

全模型微調：雖然計算資源需求較高，但全模型微調可以充分利用預訓練模型的所有參數，從而獲得最佳性能。這種方法適合於有足夠標註數據的情況。

凍結部分層：在微調過程中，可以選擇凍結預訓練模型的某些層，只微調最後幾層。這樣可以保留模型的基本特徵，同時針對特定任務進行調整。

自監督學習：利用自監督學習技術，通過設計預訓練任務來學習音頻數據的內在結構，這樣可以在標註數據稀缺的情況下提高模型的表現。

知識蒸餾：將一個大型、性能優越的模型作為教師模型，通過知識蒸餾的方式訓練一個較小的學生模型，這樣可以在保持性能的同時減少計算需求。

增量學習：在模型訓練過程中，逐步引入新數據，這樣可以使模型在不完全重訓的情況下適應新任務，從而提高其泛化能力。

本文方法在其他音頻理解任務上的表現如何?是否可以推廣到更廣泛的應用場景?

本文提出的方法在其他音頻理解任務上展現了良好的性能，特別是在異常聲音檢測（ASD）任務中達到了77.75%的新基準。這表明所使用的音頻預訓練模型和LoRA微調策略不僅適用於ASD，還可能在其他音頻相關任務中取得類似的成功。

音頻分類：由於模型能夠有效提取音頻特徵，這一方法可以推廣到音頻分類任務中，幫助提高分類準確率。

語音識別：利用預訓練的語音模型，結合LoRA微調策略，可以在語音識別任務中進行有效的應用，特別是在標註數據稀缺的情況下。

音頻標記：在音頻標記任務中，該方法可以幫助模型學習到更豐富的音頻語義，從而提高標記的準確性。

跨域應用：由於該方法在處理不同設備和環境的音頻數據時展現了良好的泛化能力，因此可以推廣到其他工業應用場景，如設備故障預測和環境聲音監測等。

總之，本文的方法不僅在ASD任務中表現出色，還具有廣泛的應用潛力，能夠在多種音頻理解任務中發揮作用。