다중 스케일 음향 프롬프트를 활용한 언어 모델 기반 제로샷 텍스트-음성 합성 성능 향상

Konsep Inti

다중 스케일 음향 프롬프트를 활용하여 화자의 음색과 개인적인 말투를 모두 효과적으로 모델링함으로써 제로샷 텍스트-음성 합성의 자연스러움과 화자 유사도를 향상시킬 수 있다.

Abstrak

이 논문은 제로샷 텍스트-음성 합성 기술을 개선하기 위해 다중 스케일 음향 프롬프트를 활용하는 새로운 모델을 제안한다.
먼저, 화자 인식 텍스트 인코더를 통해 다수의 발화로 구성된 스타일 프롬프트에서 화자의 개인적인 말투 정보를 음소 수준에서 추출하고, 이를 텍스트 임베딩에 융합한다. 이어서, VALL-E 기반의 음향 디코더를 사용하여 3초 분량의 음색 프롬프트로부터 음색 정보를 모델링하고 음성을 생성한다.
실험 결과, 제안 모델은 기존 언어 모델 기반 제로샷 TTS 모델들에 비해 자연스러움과 화자 유사도 측면에서 우수한 성능을 보였다. 또한 스타일 프롬프트의 길이를 늘리면 성능이 지속적으로 향상되는 것을 확인할 수 있었다.

Statistik

제안 모델은 기존 VALL-E 모델에 비해 자연스러움 MOS 점수가 0.4점 이상 높다.
제안 모델은 기존 VALL-E 모델에 비해 화자 유사도 MOS 점수가 0.3점 이상 높다.
제안 모델의 SECS 점수는 0.798로, VALL-E의 0.771보다 높다.
제안 모델의 MCD 점수는 7.715로, VALL-E의 8.075보다 낮다.

Kutipan

"다중 스케일 음향 프롬프트를 활용하여 화자의 음색과 개인적인 말투를 모두 효과적으로 모델링함으로써 제로샷 텍스트-음성 합성의 자연스러움과 화자 유사도를 향상시킬 수 있다."
"실험 결과, 제안 모델은 기존 언어 모델 기반 제로샷 TTS 모델들에 비해 자연스러움과 화자 유사도 측면에서 우수한 성능을 보였다."
"스타일 프롬프트의 길이를 늘리면 성능이 지속적으로 향상되는 것을 확인할 수 있었다."

Wawasan Utama Disaring Dari

Improving Language Model-Based Zero-Shot Text-to-Speech Synthesis with Multi-Scale Acoustic Prompts

by Shun Lei,Yix... pada arxiv.org 04-10-2024

https://arxiv.org/pdf/2309.11977.pdf

Pertanyaan yang Lebih Dalam

질문 1

화자의 개인적인 말투를 더욱 효과적으로 모델링하기 위한 방법은 무엇이 있을까?
답변 1:
제로샷 텍스트-음성 합성에서 화자의 개인적인 말투를 더욱 효과적으로 모델링하기 위해서는 다양한 방법을 활용할 수 있습니다. 첫째로, 다양한 스타일 프롬프트를 활용하여 화자의 발화 스타일을 더 상세하게 모델링할 수 있습니다. 스타일 프롬프트에는 다양한 문장이 포함되어 있어서 발화의 억양, 악센트, 발음 습관 등과 같은 다양한 개인적인 특징을 포착할 수 있습니다. 두번째로, 음향 프롬프트와 함께 텍스트 정보를 활용하여 발화의 의미론적인 내용과 스타일적 특징을 효과적으로 결합하는 방법을 사용할 수 있습니다. 이를 통해 모델은 텍스트와 음향 정보를 조합하여 보다 자연스럽고 화자 특유의 말투를 재현할 수 있습니다. 또한, 발화의 음성적 특징을 더욱 상세하게 모델링하기 위해 다양한 스케일의 음향 프롬프트를 활용하는 방법도 효과적일 수 있습니다.

질문 2

제안 모델의 성능 향상을 위해 음향 프롬프트 외에 어떤 추가적인 정보를 활용할 수 있을까?
답변 2:
제안 모델의 성능을 향상시키기 위해 음향 프롬프트 외에 추가적인 정보를 활용할 수 있습니다. 첫째로, 발화의 감정이나 강도와 같은 감성적인 요소를 반영하기 위해 감성 프롬프트를 도입할 수 있습니다. 감성 프롬프트는 발화의 감정적인 컨텍스트를 모델에 전달하여 보다 감정 풍부한 음성 합성을 가능하게 합니다. 둘째로, 화자의 화자 특성을 더욱 정교하게 모델링하기 위해 발화의 억양, 발음, 발화 속도 등과 같은 세부적인 특징을 반영하는 추가적인 특징 프롬프트를 활용할 수 있습니다. 이를 통해 모델은 화자의 개인적인 특징을 더욱 세밀하게 재현할 수 있습니다.

질문 3

제안 모델의 기술을 활용하여 다국어 제로샷 텍스트-음성 합성 시스템을 구축할 수 있을까?
답변 3:
제안 모델의 기술을 활용하여 다국어 제로샷 텍스트-음성 합성 시스템을 구축하는 것이 가능합니다. 다국어 제로샷 텍스트-음성 합성 시스템을 구축하기 위해서는 먼저 다양한 언어의 음성 데이터를 확보하고 이를 모델 학습에 활용해야 합니다. 제안 모델은 다국어 데이터를 활용하여 다양한 화자의 음성 특성을 학습하고 재현할 수 있는 능력을 갖추고 있습니다. 또한, 다국어 텍스트 처리 및 다국어 발화 스타일 모델링을 위한 다국어 텍스트 및 스타일 프롬프트를 통해 모델이 다양한 언어와 화자의 특성을 효과적으로 학습하고 적용할 수 있습니다. 따라서, 제안 모델을 활용하여 다국어 제로샷 텍스트-음성 합성 시스템을 구축하는 것이 가능할 것으로 기대됩니다.