EnGen-TTSを用いた音声合成のための包括的な音声データセット、Bahasa Harmony：離散コーデックモデリングによる質の高い音声合成

แนวคิดหลัก

本稿では、インドネシア語の音声合成における最新の進歩として、大規模な音声データセット「Bahasa Harmony」と、効率的かつ高品質な音声合成を実現する新しいTTSモデル「EnGen-TTS」を紹介する。

บทคัดย่อ

Bahasa Harmony: EnGen-TTSを用いた音声合成のための包括的な音声データセット

書誌情報: Susladkar, O. K., Tripathi, V., & Ahmed, B. (2024). Bahasa Harmony: A Comprehensive Dataset for Bahasa Text-to-Speech Synthesis with Discrete Codec Modeling of EnGen-TTS. arXiv preprint arXiv:2410.06608v1.
研究目的: インドネシア語の音声合成における、既存システムの限界を克服するため、包括的な音声データセットと、高品質かつ効率的な音声合成を実現する新しいTTSモデルを提案する。
方法:

データセット: インドネシア語の多様な言語的特徴を捉えるため、Wikipediaやchat-GPT翻訳などのテキストソースから収集した約55時間分の音声データと52,000件の音声録音を含む「Bahasa Harmony」データセットを構築した。
モデル: マルチリンガルのT5エンコーダと、音声コーデック言語モデリングモジュールを組み合わせた新しいTTSモデル「EnGen-TTS」を開発した。このモデルは、音声の離散表現を用いることで、効率的な学習と高品質な音声合成を両立させている。
主な結果:

提案する「Bahasa Harmony」データセットは、インドネシア語の音声合成研究のための貴重なリソースとなる。
提案する「EnGen-TTS」モデルは、既存のTTSモデルと比較して、より自然で高品質なインドネシア語の音声を合成できることを、平均オピニオン評点（MOS）を用いた評価実験により確認した。
「EnGen-TTS」モデルは、リアルタイム音声合成にも適した処理速度を達成している。
結論:

本研究で提案するデータセットとモデルは、インドネシア語の音声合成技術を大幅に進歩させるものである。
本研究の成果は、多言語音声合成システムの開発にも貢献する可能性がある。
今後の研究:

8kHzサンプリングレートでの高品質な音声生成を可能にすることで、電話音声合成などのアプリケーションへの対応を進める。
より長い文や段落を自然かつ滑らかに合成するため、コンテキストウィンドウを2048音声トークンまで拡張する。

สถิติ

データセット「Bahasa Harmony」は、約55時間分の音声データと52,000件の音声録音を含む。
データセットは、男性と女性の声優からそれぞれ25時間ずつ収集された。
すべての音声データは48kHzのサンプルレートで録音されている。
データセットには、23,000語の語彙が含まれている。
EnGen-TTS-Lモデルは、4.45 ± 0.13のMOSを達成した。
EnGen-TTS-Lモデルのリアルタイム係数（RTF）は0.016である。
EnGen-TTS-Lモデルは、最大604の音声トークンと1024のテキストトークンを処理できる。
600の音声トークンは約16秒の音声に相当する。

ข้อมูลเชิงลึกที่สำคัญจาก

Bahasa Harmony: A Comprehensive Dataset for Bahasa Text-to-Speech Synthesis with Discrete Codec Modeling of EnGen-TTS

by Onkar Kishor... ที่ arxiv.org 10-10-2024

https://arxiv.org/pdf/2410.06608.pdf

สอบถามเพิ่มเติม

インドネシア語以外の言語の音声データを用いてEnGen-TTSモデルを学習した場合、どのような結果が得られるだろうか？

EnGen-TTSモデルは、多言語音声合成タスクにおいても堅牢性を示しており、論文中の実験では、スペイン語、ポルトガル語、ドイツ語、オランダ語、ヒンディー語、マラティ語、タミル語の7言語で学習が行われています。その結果、いずれの言語においても、比較対象のVITSやNaturalSpeechといったモデルと比較して、より自然な音声合成を実現しています。
EnGen-TTSモデルのアーキテクチャは、特定の言語に依存しないように設計されており、音声データとテキストデータ間のマッピングを効率的に学習することができます。そのため、学習データとして十分な量の、高品質な音声データとテキストデータが用意できれば、インドネシア語以外の言語においても、高品質な音声合成を実現できる可能性が高いと考えられます。
ただし、言語によって音声の特徴や発音の規則は大きく異なるため、最適なパフォーマンスを得るためには、学習データの量や質だけでなく、言語固有の音声特徴を考慮した調整が必要となる場合もあります。例えば、音韻規則やアクセント、イントネーションなどの調整が考えられます。

EnGen-TTSモデルは、感情表現や抑揚などの音声の非言語的特徴をどの程度再現できるのだろうか？

EnGen-TTSモデルは、テキスト情報と音声情報を関連付けることに焦点を当てて設計されており、感情表現や抑揚といった非言語的特徴の再現については、明示的には言及されていません。現状では、入力テキストのみに基づいて音声合成を行うため、感情や抑揚を細かく制御することは難しいと考えられます。
しかし、音声の非言語的特徴を再現するための取り組みは、音声合成技術において重要な研究分野となっています。例えば、テキスト情報に加えて、感情や抑揚を表現するためのタグを付与したり、感情表現に特化した音声データセットを用いてモデルを学習させることで、より人間らしい音声合成の実現が期待できます。
EnGen-TTSモデルにおいても、将来的には、このような非言語的特徴を制御するための拡張が行われる可能性があります。

音声合成技術の進歩は、人間と機械のコミュニケーションをどのように変えていくのだろうか？

音声合成技術の進歩は、人間と機械のコミュニケーションをより自然で円滑なものへと変えていく可能性を秘めています。

より人間らしい対話の実現: 感情表現や抑揚の再現性が向上することで、機械とのコミュニケーションがより自然で人間らしくなり、ユーザーエクスペリエンスが向上するでしょう。
多様なコミュニケーション手段の提供: 音声合成技術は、視覚障碍者や聴覚障碍者など、従来のテキストベースのインターフェースでは情報アクセスが困難であった人々に対して、音声による情報アクセス手段を提供することができます。
パーソナライズ化された音声体験: ユーザーの好みに合わせた音声合成が可能になることで、よりパーソナライズ化された音声体験が実現できます。例えば、ニュースや書籍を好みの声で読み上げたり、外国語学習においてネイティブに近い発音を学習する際に役立ちます。
一方で、音声合成技術の進歩は、なりすましやフェイクニュースの拡散など、倫理的な問題や社会的なリスクも孕んでいます。そのため、技術の進歩とともに、倫理的な側面や社会への影響についても議論を進め、適切な対策を講じていくことが重要です。