Verbesserung der sprachmodellbasierten Zero-Shot-Sprachsynthese durch mehrstufige akustische Prompts
Durch die Verwendung mehrstufiger akustischer Prompts, die sowohl den Klangcharakter als auch den persönlichen Sprachstil des Zielsprechers erfassen, kann die Qualität und Ähnlichkeit der generierten Sprache in der sprachmodellbasierten Zero-Shot-Sprachsynthese deutlich verbessert werden.
Robuste Codec-Sprachmodellierung mit Chain-of-Thought-Prompting für Text-to-Speech-Synthese
RALL-E, eine robuste Sprachmodellierungsmethode, verbessert die Leistung von LLM-basierten Text-to-Speech-Systemen durch die Verwendung von Chain-of-Thought-Prompting für Prosodie-Merkmale und eine dauer-gesteuerte Maskierung.
Effiziente Modellierung von syntaktischen und akustischen Merkmalen zur Optimierung der Pausenbildung in koreanischer Sprachsynthese
Durch die Modellierung von sowohl syntaktischen als auch akustischen Merkmalen kann die Pausenbildung in der koreanischen Sprachsynthese deutlich verbessert werden, was zu einer natürlicheren Sprachausgabe führt.
Verbesserung von GAN-basierten neuronalen Vocodern durch Slicing Adversarial Network
Durch die Anwendung des Slicing Adversarial Network (SAN)-Trainingsrahmens können die Leistung von GAN-basierten Vocodern, einschließlich BigVGAN, mit geringen Modifikationen verbessert werden.
Erstellung eines Sprachkorpus mit vielfältigen Stimmcharakteristika für seine beschreibungsbasierte Darstellung
Durch die Erstellung eines Korpus mit vielfältigen Stimmcharakteristika und die Entwicklung eines Modells zur Abbildung von Sprachbeschreibungen auf Sprachsignale können Sprachsynthesesysteme eine nuanciertere Kontrolle über Stimmcharakteristika ermöglichen.
Mega-TTS 2: Effiziente Prompting-Mechanismen für Zero-Shot-Sprachsynthese
Mega-TTS 2 ist ein generisches Prompting-Mechanismus für Zero-Shot-Sprachsynthese, der die Herausforderungen bisheriger Ansätze adressiert. Das Modell nutzt einen leistungsfähigen akustischen Autoencoder, um Prosodie und Timbre getrennt zu erfassen, sowie einen Multi-Referenz-Timbre-Encoder und ein Prosodie-Latent-Language-Modell, um nützliche Informationen aus Mehrfach-Satz-Prompts zu extrahieren. Darüber hinaus ermöglicht eine Prosodie-Interpolationstechnik die kontrollierte Übertragung verschiedener Sprechstile auf den gewünschten Timbre.
Effizient trainiertes, ressourcenarmes mongolisches leichtgewichtiges Text-zu-Sprache-System
Ein leichtgewichtiges Text-zu-Sprache-System, das auf tiefen konvolutionalen neuronalen Netzen basiert und die Trainingszeit und Modellparameter deutlich reduziert, ohne die Qualität und Natürlichkeit der synthetisierten Sprache stark zu beeinträchtigen.
HAM-TTS: Hierarchische akustische Modellierung für tokenbasiertes Zero-Shot Text-to-Speech mit Modell- und Datenskalierung
Tokenbasierte TTS-Modelle verbessern die Sprachsynthese durch hierarchische akustische Modellierung und Datenvergrößerung.
Erweiterung der mehrsprachigen Sprachsynthese auf über 100 Sprachen ohne transkribierte Daten
Ein neues Framework ermöglicht die Skalierung eines mehrsprachigen TTS-Modells auf über 100 Sprachen ohne transkribierte Daten.
© 2024 by Linnk AI