利用離散化語言模型進行目標說話者提取

Core Concepts

我們提出了TSELM,一種利用離散化語言模型進行目標說話者提取的新方法。TSELM使用多層WavLM作為輸入標記,並結合交叉注意力機制和語言模型來提取目標說話者信息。它將複雜的音頻生成問題轉化為分類任務,並使用可擴展的HiFi-GAN進行音頻重建。實驗結果表明,TSELM在語音質量方面取得了出色的結果,在語音可懂度方面也取得了可比的結果。

Abstract

本文提出了一種新的目標說話者提取方法TSELM,利用離散化語言模型進行處理。主要包括以下步驟:

1. 編碼階段:

   • 使用預訓練的WavLM模型提取參考語音和混合語音的多層特徵表示,並進行離散化。
   • 對於混合語音,先將參考語音拼接到兩側,然後再進行編碼,以幫助模型專注於目標說話者。

2. 建模階段:

   • 使用注意力機制聚合不同層的離散表示。
   • 應用交叉注意力機制將參考語音信息注入到混合語音表示中。
   • 使用編碼器-只語言模型生成重建的離散標記,並應用交叉熵損失函數。

3. 解碼階段:

   • 利用預訓練的可擴展HiFi-GAN直接從離散標記重建音頻,無需額外的解碼器。

實驗結果表明,TSELM在語音質量指標DNSMOS上優於基線模型Spex+,在語音可懂度指標dWER上也取得了可比的結果。我們的進一步分析發現,混合語音的編碼策略對模型性能有重要影響。未來工作將聚焦於開發更好的說話者感知型離散化方法,以進一步提升性能。

Stats

混合語音的DNSMOS得分為3.38,BAK得分為3.10,OVL得分為2.65,dWER為79.2%。
離散化目標語音的DNSMOS得分為3.47,BAK得分為4.03,OVL得分為3.19,dWER為11.8%。
TSELM-L模型在Libri2Mix測試集上的DNSMOS得分為3.49,BAK得分為4.04,OVL得分為3.21,dWER為27.5%,speaker相似度為0.895。
TSELM-L模型在WSJ0-2mix測試集上的DNSMOS得分為3.57,BAK得分為4.10,OVL得分為3.31,dWER為17.8%,speaker相似度為0.924。

Quotes

無

Key Insights Distilled From

TSELM: Target Speaker Extraction using Discrete Tokens and Language Models

by Beilong Tang... at arxiv.org 09-13-2024

https://arxiv.org/pdf/2409.07841.pdf

Deeper Inquiries

如何進一步提升TSELM在語音可懂度和說話者相似度方面的性能?

要進一步提升TSELM在語音可懂度和說話者相似度方面的性能，可以考慮以下幾個策略：

改進離散化方法：目前的離散化過程可能導致信息損失，影響語音的可懂度和說話者相似度。可以探索更先進的離散化技術，例如使用更高效的聚類算法或基於深度學習的離散化方法，以保留更多的語音特徵。

多層次特徵融合：在建模階段，除了使用多層WavLM的輸出，還可以考慮融合其他自監督學習模型的特徵，這樣可以獲得更豐富的語音表示，進而提升語音的可懂度和說話者相似度。

增強訓練數據：通過擴展訓練數據集，特別是包含多樣化的說話者和語音環境的數據，可以提高模型的泛化能力。這樣可以幫助模型更好地學習到不同說話者的特徵，從而提升說話者相似度。

優化損失函數：在訓練過程中，除了使用交叉熵損失外，可以考慮引入其他損失函數，例如對比損失或三元組損失，這樣可以更好地強調說話者相似度的學習。

後處理技術：在解碼階段，可以引入後處理技術，例如使用語音增強算法來進一步改善生成語音的質量，從而提升可懂度。

離散化過程中信息損失的問題如何解決,以縮小與連續方法的性能差距?

為了解決離散化過程中信息損失的問題，並縮小與連續方法的性能差距，可以採取以下措施：

改進Kmeans聚類算法：可以探索更高效的聚類算法，如基於深度學習的聚類方法，這樣可以更好地捕捉語音信號的特徵，減少信息損失。

多層次離散化：在離散化過程中，考慮使用多層次的特徵進行離散化，而不是僅依賴單一層的輸出。這樣可以保留更多的上下文信息，從而減少信息損失。

引入自監督學習模型：可以考慮使用其他自監督學習模型來輔助離散化過程，這樣可以獲得更豐富的語音表示，進一步減少信息損失。

優化模型架構：在模型架構上，可以考慮引入更複雜的網絡結構，例如使用更深的神經網絡或引入注意力機制，以提高模型對語音特徵的捕捉能力。

數據增強技術：在訓練過程中，使用數據增強技術來生成多樣化的訓練樣本，這樣可以幫助模型更好地學習到語音的多樣性，從而減少信息損失。

除了WavLM,是否還有其他更適合目標說話者提取的自監督學習模型可以探索?

除了WavLM，還有幾個自監督學習模型可以探索，以提升目標說話者提取的性能：

HuBERT：HuBERT是一種強大的自監督學習模型，已在多個語音任務中表現出色。其特徵提取能力可以用於目標說話者提取，特別是在處理清晰語音時。

vq-wav2vec：這是一種基於離散表示的自監督學習模型，能夠有效地捕捉語音信號的特徵。其離散化過程可以與目標說話者提取任務相結合，進一步提升性能。

DeepSpeech：雖然主要用於語音識別，但DeepSpeech的架構可以進行調整，以適應目標說話者提取的需求，特別是在處理多說話者場景時。

Conformer：這是一種結合了卷積和自注意力的模型，能夠有效捕捉語音信號的時間和頻率特徵。其在語音處理任務中的表現優異，值得進一步探索。

Speech2Vec：這是一種基於語音的自監督學習模型，能夠學習語音的語義表示，對於目標說話者提取任務也有潛在的應用價值。

這些模型的探索可以幫助研究者找到更適合目標說話者提取的自監督學習方法，進一步提升模型的性能。