F5-TTS: Flow Matching을 이용하여 유창하고 충실한 음성을 생성하는 TTS 시스템
본 논문에서는 Flow Matching 기반의 Diffusion Transformer를 활용하여, 음성 프롬프트와 텍스트 프롬프트를 기반으로 자연스럽고 충실한 음성 합성을 가능하게 하는 비자기회귀 TTS 시스템인 F5-TTS를 제안합니다.
FastPitch 기반 자연스러운 음성 합성 및 화자 적응을 위한 효율적인 학습 전략 연구
FastPitch 모델을 기반으로 다양한 학습 전략을 통해 자연스러운 루마니아어 음성 합성 및 화자 적응 기능을 구현하고, 익명 화자 기능을 도입하여 화자 정보 없이 텍스트 콘텐츠만으로 의미 전달이 가능한지 실험 및 분석하였다.
마스크GCT: 마스크 생성 코덱 트랜스포머를 활용한 제로샷 음성 합성
MaskGCT는 텍스트-음성 정렬 감독이나 음소 수준 기간 예측 없이 마스크 생성 코덱 트랜스포머를 활용하여 제로샷 텍스트 음성 합성을 달성하는 새로운 TTS 시스템입니다.
비음성 발성 합성을 향하여
본 논문에서는 DiffWave 프레임워크를 사용하여 아기 울음 소리와 같은 비음성 발성을 사실적으로 생성하는 방법을 제시합니다.
인도 아대륙 일상 대화에서의 제로샷 및 코드 혼합 음성 합성
인도 언어의 음성적, 언어적 유사성을 활용하여 제로샷 음성 합성과 자연스러운 코드 혼합 및 전환 음성 합성을 가능하게 하는 Common Label Set(CLS) 기반 시스템.
음성-음성 모델에서 강세 전이 평가를 위한 음향적 벤치마크, EmphAssess 소개
본 논문에서는 음성-음성 모델의 강세 보존 능력을 평가하기 위한 자동화된 벤치마크인 EmphAssess를 소개하고, 특히 영어-영어 및 영어-스페인어 모델에 대한 결과를 제시합니다.
DMDSpeech: 직접 지표 최적화를 통해 제로샷 음성 합성에서 교사 모델을 능가하는 증류 확산 모델
DMDSpeech는 직접 지표 최적화를 통해 제로샷 음성 합성에서 최첨단 성능을 달성하는 증류 확산 기반 모델입니다.
다중 화자 TTS에서의 발음과 화자 표현의 분리: DART
본 논문에서는 다단계 변분 오토인코더(ML-VAE)와 벡터 양자화(VQ)를 결합하여 음성 합성에서 발음과 화자 표현을 효과적으로 분리하는 새로운 TTS 모델인 DART를 제안합니다.
음성 관절 기구학을 통한 음성 코딩: 새로운 음성 표현 및 합성 프레임워크 소개
인간의 발성 기관의 움직임을 모방한 음성 관절 코딩(SPARC) 프레임워크는 음성의 생성 및 인식에 대한 새로운 접근 방식을 제시하며, 자연스럽고 제어 가능한 방식으로 음성을 표현하고 합성할 수 있도록 합니다.
엔드 투 엔드 분석-합성 맥락에서의 미분 가능 시간-변화 선형 예측
본 논문에서는 음성 합성을 위한 엔드 투 엔드 학습 가능한 시간-변화 선형 예측 (LP) 방법을 제안하며, 이를 통해 기존 프레임 기반 LP의 한계를 극복하고 보다 자연스럽고 고품질의 음성 합성을 가능하게 합니다.
© 2024 by Linnk AI