創建低資源語言TTS資料集的秘訣：ManaTTS波斯語

Khái niệm cốt lõi

本研究介紹了ManaTTS，這是目前最大規模的公開單說話者波斯語料庫,並提供了一個全面的框架來收集波斯語轉錄語音資料集。ManaTTS在開放的CC-0許可下發布,包含約86小時的音頻,採樣率為44.1 kHz。我們還生成了VirgoolInformal資料集來評估用於強制對齊的波斯語音識別模型,涵蓋5小時的音頻。這些資料集由完全透明、MIT許可的管道支持,體現了該領域的創新。它包括用於句子分詞、有界音頻分割和新穎強制對齊方法的獨特工具。這種對齊技術專門設計用於低資源語言,解決了該領域的關鍵需求。使用這個資料集,我們訓練了一個基於Tacotron2的TTS模型,獲得了3.76的平均意見得分(MOS),這非常接近使用相同聲碼器和自然頻譜的3.86 MOS,以及自然波形的4.01 MOS,證明了該語料庫的出色質量和有效性。

Tóm tắt

本研究介紹了ManaTTS,這是目前最大規模的公開單說話者波斯語TTS資料集。ManaTTS包含約86小時的音頻,採樣率為44.1 kHz,由一位女性說話者錄製,並在開放的CC-0許可下發布。

為了評估ASR模型,我們還生成了VirgoolInformal資料集,涵蓋5小時的轉錄語音。這兩個資料集都由一個完全透明、MIT許可的管道支持,包括用於句子分詞、有界音頻分割和新穎強制對齊方法的獨特工具。

我們使用這個ManaTTS資料集訓練了一個基於Tacotron2的TTS模型,獲得了3.76的平均意見得分(MOS),這非常接近使用相同聲碼器和自然頻譜的3.86 MOS,以及自然波形的4.01 MOS,證明了該語料庫的出色質量和有效性。

Thống kê

"本資料集包含約86小時的音頻,採樣率為44.1 kHz。"
"資料集涵蓋了24,113個獨特單詞,涵蓋了各種主題領域。"
"約71.46%的音頻-文本片段具有高質量對齊,約28.54%具有中等質量對齊。"

Trích dẫn

"ManaTTS是目前最大規模的公開單說話者波斯語TTS資料集。"
"ManaTTS在開放的CC-0許可下發布,使教育和商業用途成為可能。"
"ManaTTS的處理管道是完全透明和可重複的,包括用於句子分詞、有界音頻分割和新穎強制對齊方法的獨特工具。"

Thông tin chi tiết chính được chắt lọc từ

ManaTTS Persian: a recipe for creating TTS datasets for lower resource languages

by Mahta Fetrat... lúc arxiv.org 09-12-2024

https://arxiv.org/pdf/2409.07259.pdf

Yêu cầu sâu hơn

如何進一步擴展ManaTTS資料集以涵蓋更多語言變體和領域?

要進一步擴展ManaTTS資料集以涵蓋更多語言變體和領域，可以採取以下幾個策略。首先，利用Nasl-e-Mana雜誌的持續出版特性，定期收集和處理新的音頻和文本資料，這樣可以不斷增加資料集的規模和多樣性。其次，考慮引入不同的講者，特別是來自不同地區或社會背景的女性講者，以捕捉波斯語的方言變體和語音特徵。此外，擴展資料集的主題範圍，涵蓋更多的社會、文化和技術領域，可以使資料集更具代表性，並提高其在各種應用中的實用性。最後，與其他開放資料集合作，整合來自不同來源的資料，這樣不僅可以增加資料的多樣性，還能促進跨領域的研究和應用。

如何設計一個更加自動化和健全的強制對齊方法,以處理更複雜的語音-文本不匹配情況?

設計一個更加自動化和健全的強制對齊方法，可以考慮以下幾個方面。首先，應用更先進的自動語音識別（ASR）模型，這些模型應具備更高的準確性和穩健性，以減少語音和文本之間的錯配。其次，開發一個基於深度學習的強制對齊系統，該系統能夠學習語音和文本之間的複雜關係，並自動調整對齊策略以適應不同的語音特徵和文本格式。此外，應用多模態學習技術，結合語音、文本和其他輔助信息（如語境或情感標籤），以提高對齊的準確性和靈活性。最後，建立一個反饋機制，通過用戶的標註和評價來不斷優化對齊算法，從而提高系統的整體性能。

ManaTTS資料集的語音特徵是否可以應用於其他波斯語語音任務,如語音識別或語音合成?

是的，ManaTTS資料集的語音特徵可以應用於其他波斯語語音任務，如語音識別和語音合成。由於該資料集包含高質量的單講者音頻和精確的文本轉錄，這使得它非常適合用於訓練語音識別模型，特別是在缺乏大型標註數據集的低資源語言環境中。此外，ManaTTS的語音特徵也可以用於改進現有的語音合成系統，通過提供更自然的語音樣本來提升合成語音的質量。這些特徵的多樣性和高質量使得它們在各種語音技術應用中具有廣泛的潛力，並能夠促進波斯語語音技術的進一步發展。