利用可控口音 TTS 合成的平行數據，使用離散單元進行口音轉換

Temel Kavramlar

本文提出了一種基於深度學習的口音轉換系統，利用可控口音的 TTS 技術合成平行語料數據，並使用離散單元作為中間目標進行口音轉換，在保留說話者身份的同時，有效地將多種口音轉換為目標口音，並提升了非母語人士的語音流暢度。

Özet

研究背景

不同英語語系人士之間的口音差異，形成語言隔閡。
深度學習模型有潛力解決這個問題，在保留說話者身份的同時，有效地轉換口音。
現有方法及局限性

傳統方法：依賴目標口音的參考語音進行合成，應用受限。
非自回歸口音轉換：

優點：僅需非平行數據，易於獲取。
缺點：流暢度不足，難以提升非母語人士的流暢度。

自回歸口音轉換：

優點：基於序列到序列模型，使用平行數據訓練。
缺點：平行數據稀缺，難以獲取。
本文提出的方法

開發一個自回歸、無參考、零樣本、多對一方向的口音轉換系統。
利用可控口音的 TTS 技術合成平行語料數據，解決數據稀缺問題。
使用離散單元作為中間目標進行口音轉換。
系統架構

語音轉單元（S2U）模型：將母語語音編碼為連續表示，並通過聚類生成離散單元序列。
多說話者單元轉語音（U2S）模型：將離散單元與說話者嵌入信息轉換回原始母語語音。
多口音 TTS 模型：基於 YourTTS 模型，利用權重分解技術實現多口音語音合成。
母語 TTS 模型：使用單一母語說話者的語音數據訓練 YourTTS 模型，生成目標口音的語音。
發音矯正器（PC）模型：基於 Transformer 的序列到序列模型，將非母語語音轉換為離散單元序列。
數據增強方法

使用多口音 TTS 模型和母語 TTS 模型生成平行訓練數據。
採用兩種句子選擇策略：

非重疊句子策略：從文本語料庫中選擇一百萬個句子，每個句子生成一個隨機口音和說話者的非母語語音。
重疊句子策略：從文本語料庫中選擇十六萬六千個句子，每個句子生成六個不同口音和說話者的非母語語音。
實驗結果

句子重疊策略在所有權重初始化條件下，文本困惑度均顯著優於非重疊句子策略。
Wav2vec 編碼器和 MBart 解碼器的組合在文本困惑度方面表現最佳。
在主觀評測中，本文提出的模型在口音和流暢度方面優於其他基線系統，但在說話者相似度方面略遜於 Baseline-3。
結論

可控口音的 TTS 技術可以為口音轉換生成大量平行訓練數據。
預訓練的編碼器解碼器和母語離散單元有助於訓練多對一方向的口音轉換系統。
本文提出的方法能夠將未見說話者的語音轉換為目標口音，並具有更好的流暢度和口音。

İstatistikler

K = 100 個離散單元
訓練數據：LJSpeech 語料庫、LibriTTS-R 語料庫、L2-Arctic 語料庫
測試數據：約 1000 個句子（3 小時），包含中文、印度、阿拉伯和越南語說話者
評估指標：文本困惑度、口音測試、流暢度測試、說話者相似度平均意見得分（Sim-MOS）

Önemli Bilgiler Şuradan Elde Edildi

Accent conversion using discrete units with parallel data synthesized from controllable accented TTS

by Tuan Nam Ngu... : arxiv.org 10-08-2024

https://arxiv.org/pdf/2410.03734.pdf

Daha Derin Sorular

除了口音轉換，這項技術還可以用於哪些其他語音處理任務？

除了口音轉換，這項技術還可以應用於以下語音處理任務：

語音合成（TTS）： 這項技術的核心是將離散單元轉換為語音，這與 TTS 的目標一致。通過調整模型，可以將文本輸入轉換為具有特定口音的語音，用於個性化語音助手、有聲讀物等。
語音識別（ASR）： 通過將不同口音的語音轉換為標準口音，可以提高 ASR 系統在不同口音語音上的識別率，尤其是在訓練數據不足的情況下。
語音轉換（VC）： 這項技術可以看作是 VC 的一種特殊形式，可以將一個人的語音風格轉換為另一個人的風格，同時保留語音內容。
低資源語音處理： 對於訓練數據較少的語言或口音，可以使用數據增強技術生成大量的訓練數據，從而提高模型的性能。
跨語言語音處理： 可以將這種基於離散單元的技術擴展到跨語言語音處理任務，例如跨語言語音合成和跨語言語音轉換。

如果訓練數據中沒有涵蓋某些特定口音，這個系統的表現會如何？

如果訓練數據中沒有涵蓋某些特定口音，這個系統的表現可能會下降。這是因為模型在訓練過程中沒有學習到這些口音的語音特徵，因此無法有效地進行轉換。
具體來說，可能會出現以下情況：

無法識別特定口音： 模型可能無法識別出輸入語音屬於未見過的口音，導致轉換失敗。
轉換效果不佳： 即使模型能夠識別出特定口音，但由於缺乏訓練數據，轉換後的語音可能仍然帶有明顯的原始口音，或者出現不自然的語音現象。
為了提高系統在未見過口音上的表現，可以考慮以下方法：

收集更多數據： 收集包含未見過口音的語音數據，並用於訓練模型。
遷移學習： 使用在其他口音或語言上訓練的模型作為預訓練模型，然後使用少量特定口音的數據進行微調。
零樣本學習： 探索零樣本學習方法，使模型能夠在沒有見過特定口音數據的情況下進行轉換。

如何利用這個系統來促進不同文化背景的人們之間的交流和理解？

這個系統可以通過以下方式促進不同文化背景的人們之間的交流和理解：

克服語言障礙： 對於不熟悉特定口音的人來說，這個系統可以將帶有口音的語音轉換為更容易理解的標準口音，從而消除溝通障礙。
提高溝通效率： 通過減少因口音造成的誤解和重複，可以提高溝通效率，使人們能夠更順暢地交流想法和信息。
促進文化交流： 通過使不同口音的人們更容易理解彼此，可以促進文化交流和相互理解，減少因語言差異造成的隔閡。
例如，在以下場景中，這個系統可以發揮作用：

國際會議： 將不同國家參會者的發言轉換為統一的標準口音，方便所有參會者理解。
跨國企業： 幫助來自不同國家的員工更順暢地溝通，提高工作效率。
語言學習： 為語言學習者提供標準口音的語音範例，幫助他們糾正發音，提高口語水平。
然而，需要注意的是，技術只是工具，促進不同文化背景的人們之間的交流和理解，更需要的是相互尊重、包容和理解的態度。