LIMMITS'24 チャレンジのための THU-HCSI 多話者多言語少量学習音声クローニングシステム

Core Concepts

THU-HCSI チームは、LIMMITS'24 チャレンジのために、高い話者類似度と自然性を両立する多話者多言語少量学習音声クローニングシステムを開発した。YourTTSをベースに、話者認識エンコーダ、フロー型デコーダ、モノトニック整列探索などの手法を導入し、データ前処理とファインチューニング手法の工夫により、優れた性能を実現した。

Abstract

本論文は、LIMMITS'24 チャレンジのトラック1に参加するために開発された THU-HCSI の多話者多言語少量学習音声クローニングシステムについて説明している。
まず、データ前処理では以下の取り組みを行った:

学習データの音声をリサンプリング、正規化、ノイズ除去
少量学習データのノイズ除去
学習データとファインチューニングデータを混合して使用
次に、モデルアーキテクチャでは以下の工夫を行った:

YourTTSをベースとし、VITS2からの改良を取り入れた
話者認識エンコーダを導入し、話者情報を文字エンコーディングに反映
フロー型デコーダにTransformerブロックを追加し、長期依存性をモデル化
モノトニック整列探索にノイズを注入し、アライメントの多様性を確保
最後に、ファインチューニング時には以下の手法を採用した:

学習データとファインチューニングデータを混合
話者バランスのあるサンプリング戦略を使用
これらの取り組みにより、トラック1の主観評価テストで、話者類似度MOSが4.25と最高スコアを獲得し、自然性MOSも3.97と良好な結果を得た。

Stats

学習データには560時間の高品質TTS音声が含まれ、7つのインド語各言語に男女1名ずつの話者がいる。
少量学習データには9名の話者がおり、各話者約5分の音声が用意されている。

Quotes

"話者認識エンコーダを導入し、話者情報を文字エンコーディングに反映することで、聴感上の話者類似度を大幅に向上させることができた。"
"フロー型デコーダにTransformerブロックを追加することで、長期依存性をモデル化し、音声品質の向上につなげた。"
"学習データとファインチューニングデータを混合し、話者バランスのあるサンプリング戦略を使うことで、少量データでも効果的なファインチューニングが可能となった。"

Key Insights Distilled From

The THU-HCSI Multi-Speaker Multi-Lingual Few-Shot Voice Cloning System for LIMMITS'24 Challenge

by Yixuan Zhou,... at arxiv.org 04-26-2024

https://arxiv.org/pdf/2404.16619.pdf

Deeper Inquiries

少量学習データの質的な特徴(発話内容、録音環境など)が、最終的な合成音声の品質にどのように影響するか。

少量学習データの質的な特徴は、最終的な合成音声の品質に大きな影響を与えます。例えば、発話内容が多様であるほど、モデルはより多くの言語パターンや音声特性を学習しやすくなります。録音環境が騒々しい場合、モデルは背景ノイズを学習してしまう可能性があり、合成音声の品質が低下します。そのため、クリーンで多様な学習データを使用することが重要です。

提案手法では、話者情報をテキストエンコーディングに反映しているが、音響特徴量への直接的な組み込みは検討されていないか。

提案手法では、話者情報をテキストエンコーディングに反映することで、話者の発話スタイルや特性をより良く捉えることができます。しかし、音響特徴量への直接的な組み込みは検討されていません。音響特徴量を直接的にモデルに組み込むことで、より詳細な音声特性を捉えることが可能となり、合成音声の品質向上に寄与する可能性があります。

本手法は単一言語の少量学習データにも適用可能だろうか。その場合、どのような課題が生じるか。

本手法は単一言語の少量学習データにも適用可能ですが、いくつかの課題が生じる可能性があります。少量の学習データでは、モデルが特定の話者や言語の特性を適切に捉えることが難しくなるため、合成音声の品質が低下する可能性があります。また、単一言語の場合、言語の多様性が不足しているため、他言語間の適応性が制限されることも考えられます。そのため、単一言語の少量学習データを用いる場合は、データ拡張や他の手法を組み合わせることで、モデルの性能向上を図る必要があるでしょう。