基於 CTC 壓縮器的聯合語音和文本訓練解碼器專用自動語音識別

Core Concepts

本文提出了一種名為 CJST 的新型聯合語音和文本訓練框架，用於解碼器專用自動語音識別，該框架基於 CTC 壓縮器，無需處理時長即可有效地將文本注入模型，並在域內和跨域場景中均取得了最佳性能。

Abstract

論文概述

本文介紹了一種名為 CJST 的新型聯合語音和文本訓練框架，用於解碼器專用自動語音識別 (ASR)。該框架基於 CTC 壓縮器，旨在提高生產部署規模的解碼器專用 ASR 模型的性能，而無需使用外部語言模型。

主要內容

CTC 壓縮器的擴展

• 本文研究了四種壓縮模式：空白預測移除、相同預測平均、空白概率移除以及三者組合。
• 針對 CTC 壓縮器可能產生空輸出的邊緣情況，提出了兩種解決方案：空跳過和空回退。
• 探討了通過共享文本嵌入和 CTC 類別嵌入來增強語音和文本表示之間的聯繫。

聯合語音和文本訓練

• 將類似於語言模型的訓練作為基準，並提出了基於 CTC 壓縮器的聯合語音和文本訓練 (CJST) 框架。
• CJST 利用 CTC 壓縮器從兩個方向匹配語音和文本表示，無需考慮時長。
• 對於配對的語音-文本數據，使用強制峰值對齊和 CTC 類別嵌入來生成偽聲學嵌入，並使用均方誤差損失來訓練模態適配器。
• 對於純文本數據，根據記錄的長度比隨機插入空白，並使用生成的偽聲學提示來訓練解碼器模型。

實驗結果

• 在 Librispeech 和自建數據集上進行了實驗，結果表明空白概率移除（閾值為 0.95）是最穩健的壓縮模式。
• CJST 在域內和跨域文本注入方面均取得了最佳性能，在跨域評估中相對提高了約 6%，同時在域內評估中也取得了小幅提升。

總結

本文提出了一種基於 CTC 壓縮器的聯合語音和文本訓練框架 CJST，用於解碼器專用 ASR。通過全面的評估，證明了 CJST 能夠有效地進行聯合語音和文本訓練，並在域內和跨域場景中均取得了最佳性能。

Stats

在 Librispeech 測試集上，使用空白概率移除（閾值為 0.95）的 CTC 壓縮器在 test-clean 和 test-other 上分別取得了 2.22% 和 4.94% 的 WER。
在自建數據集上，使用相同壓縮模式的 CTC 壓縮器取得了 12.85% 的 WER。
在 Librispeech 數據集上，從頭開始進行聯合語音和文本訓練，CJST 在 test-clean 和 test-other 上分別取得了 2.09% 和 4.71% 的 WER。
在繼續訓練 Librispeech 基礎模型並注入域內和域外純文本數據後，CJST 在 Librispeech test-clean 和 test-other 上分別取得了 2.17% 和 4.77% 的 WER，在 TED-LIUM2 測試集上取得了 10.14% 的 WER。

Quotes

"This work focus on the continuous representations for the task of automatic speech recognition (ASR)."
"In this work, we propose a novel CTC compressor based joint speech and text training (CJST) framework for decoder-only ASR."
"Experimental results on the Librispeech and TED-LIUM2 corpora show that the proposed CJST achieves an effective text injection without the need of duration handling, leading to the best performance for both in-domain and cross-domain scenarios."

Key Insights Distilled From

CJST: CTC Compressor based Joint Speech and Text Training for Decoder-Only ASR

by Wei Zhou, Ju... at arxiv.org 11-13-2024

https://arxiv.org/pdf/2411.07607.pdf

Deeper Inquiries

如何將 CJST 框架應用於其他語音相關任務，例如語音翻譯或語音合成？

CJST 框架的核心思想是利用 CTC 壓縮器進行語音和文本模態的匹配，並通過聯合訓練提升模型性能。這種思想可以應用於其他語音相關任務，例如：
語音翻譯：

可以將 CJST 框架中的解碼器替換為一個翻譯模型，並使用平行語料庫進行訓練。
在訓練過程中，可以使用 CTC 壓縮器將源語言語音和目標語言文本的表徵進行對齊，並使用類似 CJST 的方法進行聯合訓練。
此外，可以利用 CTC 類別嵌入來增強源語言語音和目標語言文本之間的語義關聯。
語音合成：

可以將 CJST 框架中的編碼器和解碼器分別替換為一個文本編碼器和一個語音合成器。
在訓練過程中，可以使用 CTC 壓縮器將文本編碼器的輸出和語音合成器的輸入進行對齊，並使用類似 CJST 的方法進行聯合訓練。
此外，可以利用 CTC 類別嵌入來增強文本和語音之間的韻律和語調信息。
需要注意的是，將 CJST 框架應用於其他語音相關任務需要根據具體任務進行適當的調整和優化。

在實際應用中，如何有效地收集和利用大量的配對語音-文本數據來訓練 CJST 模型？

收集和利用大量的配對語音-文本數據是訓練高性能 CJST 模型的關鍵。以下是一些有效的方法：
數據收集：

利用公開數據集： 可以使用公開的配對語音-文本數據集，例如 LibriSpeech、TED-LIUM2 等。
數據增強： 可以使用數據增強技術，例如速度擾動、音頻混合等，來擴充現有的數據集。
人工標註： 可以通過人工標註的方式，將未標註的語音數據轉換為配對語音-文本數據。
數據利用：

數據清洗： 在使用數據之前，需要對數據進行清洗，例如去除噪聲、修正錯誤標註等。
數據篩選： 可以根據數據質量、領域相關性等因素，對數據進行篩選，選擇最優的數據進行訓練。
遷移學習： 可以使用預訓練模型，例如預訓練的語音編碼器或語言模型，來加速模型訓練，並提升模型性能。

如果將 CJST 與其他技術（例如預訓練語言模型或多模態學習）相結合，是否可以進一步提高 ASR 的性能？

將 CJST 與其他技術相結合，可以進一步提高 ASR 的性能。以下是一些可行的方案：
預訓練語言模型：

可以使用預訓練語言模型，例如 BERT、GPT 等，來初始化 CJST 框架中的解碼器，從而提升模型的語言理解能力。
可以將預訓練語言模型的知識蒸餾到 CJST 模型中，從而提升模型的泛化能力。
多模態學習：

可以將語音和文本以外的其他模態信息，例如視覺信息，融入到 CJST 框架中，從而提升模型的魯棒性和準確性。
可以使用多模態預訓練模型，例如 AudioPaLM 等，來初始化 CJST 模型，從而提升模型的跨模態理解能力。
總之，將 CJST 與其他技術相結合，可以充分利用不同技術的優勢，從而進一步提高 ASR 的性能。