基於高效分層 Transformer 的生成式預訓練語音語言模型

核心概念

本文介紹了一種名為 GPST 的新型生成式預訓練語音語言模型，該模型結合了語義和聲學標記，並採用分層 Transformer 架構，能夠在單一階段中高效地生成高品質、語義連貫且可控的語音。

摘要

研究目標
本研究旨在解決現有語音語言模型在處理神經音頻編解碼器長聲學序列時面臨的挑戰，提出一個能夠高效生成高品質語音的單階段模型。
方法

語音量化：將音頻波形量化為語義標記和聲學標記兩種離散表示形式。
分層 Transformer 架構：採用一個大型全局 Transformer 和一個小型局部 Transformer。全局 Transformer 學習語義標記和堆疊聲學標記之間的高級關係，而局部 Transformer 則對堆疊聲學代碼中的分層細節進行建模。
局部丟棄技術：在訓練過程中隨機丟棄一些聲學標記，以提高高解析度語音生成的訓練效率。
多種推理模式：支持無條件生成、語義到聲學生成、說話者身份轉移和聲學延續生成等多種推理模式。
多語言學習：採用多語言 XLSR 編碼器作為語義標記提取器，並使用預先訓練的神經音頻編解碼器模型 EnCodec 作為聲學標記提取器，以支持多語言語音生成。
主要發現

GPST 在單一階段中就能夠生成高品質、語義連貫且可控的語音。
與現有語音語言模型相比，GPST 在詞錯誤率、說話者相似度和語音品質方面均取得了最佳結果。
GPST 能夠生成高解析度語音和多語言語音。
結論
GPST 是一個強大的語音語言模型，它在單一模型中展現出多項卓越的語音生成能力，為語音生成領域帶來了新的突破。
限制與未來研究方向

GPST 模型目前無法直接合成帶有文字輸入的語音，未來可以研究如何增強文字到語義標記生成模型。
GPST 模型可能存在被惡意利用的風險，例如冒充公眾人物或進行詐騙，未來可以研究如何為生成的語音添加水印以降低此類風險。

統計資料

GPST 在 LibriSpeech 測試集上的詞錯誤率 (WER) 為 2.8%，優於所有基準模型。
GPST 在說話者身份轉移任務中達到了 0.605 的說話者相似度 (SPK) 分數，證明其在保持語音內容的同時，能夠更好地轉移說話者的身份。
GPST-Hi-Res 的 DNSMOS 得分高於 GPST，表明更多量化器可以保留更多聲學細節，從而提高語音品質。
GPST 在僅使用 33% 的 AudioLM 參數的情況下，在語義到聲學模式中實現了最低的 WER 分數。

從以下內容提煉的關鍵洞見

Generative Pre-trained Speech Language Model with Efficient Hierarchical Transformer

by Yongxin Zhu,... 於 arxiv.org 11-04-2024

https://arxiv.org/pdf/2406.00976.pdf

深入探究

除了語音生成之外，GPST 模型還可以應用於哪些其他領域？

除了語音生成，GPST 模型還可以應用於以下領域：

語音辨識 (Speech Recognition)：GPST 模型可以利用其對語音序列的理解能力，提升語音辨識的準確性。例如，可以將 GPST 作為聲學模型，將語音特徵轉換為語義表徵，再結合語言模型進行語音辨識。
語音轉換 (Voice Conversion)：GPST 模型可以學習不同說話者的語音特徵，並將其應用於語音轉換任務。例如，可以利用 GPST 模型將某個人的語音轉換成另一個人的語音，同時保留原有的語義內容。
語音增強 (Speech Enhancement)：GPST 模型可以學習乾淨語音的分布，並利用其生成能力去除語音中的噪聲或干擾。例如，可以利用 GPST 模型對帶噪語音進行降噪處理，提升語音清晰度。
低資源語音處理 (Low-Resource Speech Processing)：GPST 模型可以利用其預訓練過程中學習到的語音知識，提升低資源語音處理任務的效能。例如，可以利用 GPST 模型進行跨語言語音合成，即使目標語言的訓練數據較少。

如果將 GPST 模型與其他模態（例如文字、圖像）結合起來，會產生什麼樣的效果？

將 GPST 模型與其他模態結合，可以開發出更強大、更具互動性的應用，例如：

文字到語音合成 (Text-to-Speech Synthesis)：可以將 GPST 模型與文字編碼器結合，實現更自然、更具表現力的語音合成。例如，可以利用文字描述圖像內容，並利用 GPST 模型生成相應的語音描述。
圖像到語音描述 (Image Captioning)：可以將 GPST 模型與圖像編碼器結合，實現根據圖像內容生成語音描述的功能。例如，可以利用 GPST 模型為視障人士提供圖像的語音描述。
多模態對話系統 (Multimodal Dialogue System)：可以將 GPST 模型與文字、圖像等多模態輸入結合，構建更自然、更智能的對話系統。例如，可以利用 GPST 模型讓用戶可以使用語音、文字和圖像與機器進行交互。
跨模態檢索 (Cross-Modal Retrieval)：可以利用 GPST 模型將語音和文字、圖像等模態的語義資訊映射到同一個空間，實現更準確的跨模態檢索。例如，可以利用 GPST 模型根據語音查詢圖像或影片。

如何確保像 GPST 這樣強大的語音生成技術不被濫用？

為確保 GPST 等強大的語音生成技術不被濫用，可以採取以下措施：

技術層面：

語音水印 (Audio Watermarking)：在生成的語音中嵌入隱藏的水印資訊，用於識別語音是否由特定模型生成。
語音檢測 (Speech Detection)：開發專門的演算法，用於檢測語音是否由人工合成，例如分析語音中的微弱特徵或不自然的地方。
模型溯源 (Model Tracing)：記錄模型的使用情況，追蹤生成特定語音的模型和使用者，以便在出現問題時進行追責。

法律法規：

制定相關法律法規，明確語音生成技術的使用規範和限制，禁止將其用於非法目的。
加強對語音生成技術的監管，對違法使用行為進行嚴厲打擊。

社會倫理：

加強公眾對語音生成技術的認識，提高對其潛在風險的意識。
倡導負責任地使用語音生成技術，避免將其用於欺騙、造謠等不道德行為。
總之，要確保像 GPST 這樣強大的語音生成技術不被濫用，需要技術、法律法規和社會倫理等多方面的共同努力。