LIMMITS'24 챌린지를 위한 THU-HCSI 다화자 다언어 소량 음성 복제 시스템

Core Concepts

THU-HCSI 팀이 LIMMITS'24 챌린지를 위해 개발한 다화자 다언어 소량 음성 복제 시스템은 화자 유사성과 자연스러움을 높이기 위해 YourTTS를 기반으로 하고 여러 가지 개선 사항을 도입했다.

Abstract

이 논문은 THU-HCSI 팀이 LIMMITS'24 챌린지를 위해 개발한 다화자 다언어 소량 음성 복제 시스템을 소개한다. 높은 화자 유사성과 자연스러움을 달성하기 위해 YourTTS를 기반으로 하고 VITS2에서 영감을 받은 여러 가지 개선 사항을 도입했다. 데이터 전처리 단계에서는 오디오 데이터를 재샘플링, 정규화 및 노이즈 제거하였다. 모델 학습 단계에서는 소량 데이터와 사전 학습 데이터를 혼합하고 화자 균형 샘플링 전략을 채택하여 타겟 화자에 대한 효과적인 fine-tuning을 보장했다. 구체적인 모델 아키텍처 개선 사항은 다음과 같다: 화자 인식 텍스트 인코더: 텍스트 인코딩 시 화자 임베딩을 고려하여 화자의 발화 스타일과 억양 특성을 더 잘 포착할 수 있도록 함 플로우 기반 디코더에 Transformer 블록 도입: 장기 의존성 모델링 능력 향상 단조 정렬 탐색 시 노이즈 주입: 다양한 정렬 경로 탐색 유도 이러한 개선을 통해 LIMMITS'24 챌린지 트랙 1에서 화자 유사성 MOS 4.25점을 달성하며 최고 성적을 거두었고, 자연스러움 MOS 3.97점도 상당한 수준을 보였다.

Stats

베이스 모델 학습에는 560시간의 고품질 TTS 데이터(7개 인도 언어, 각 언어 남녀 화자 각 40시간)를 사용했다. 소량 데이터는 9명의 타겟 화자 각 5분 분량이며, 일부 환경 노이즈가 있어 FullSubNet+로 노이즈 제거를 수행했다.

Quotes

"화자 임베딩을 텍스트 인코딩 시 고려하면 화자의 발화 스타일과 억양 특성을 더 잘 포착할 수 있어 화자 유사성 향상에 도움이 된다." "플로우 기반 디코더에 Transformer 블록을 도입하여 장기 의존성 모델링 능력을 향상시켰다." "단조 정렬 탐색 시 노이즈를 주입하여 다양한 정렬 경로를 탐색하도록 유도했다."

Key Insights Distilled From

The THU-HCSI Multi-Speaker Multi-Lingual Few-Shot Voice Cloning System for LIMMITS'24 Challenge

by Yixuan Zhou,... at arxiv.org 04-26-2024

https://arxiv.org/pdf/2404.16619.pdf

Deeper Inquiries

소량 데이터 상황에서 화자 유사성과 자연스러움을 동시에 높이는 것은 쉽지 않은 과제이다. 이를 위해 어떤 다른 접근 방식을 고려해볼 수 있을까?

소량 데이터 상황에서 화자 유사성과 자연스러움을 향상시키기 위해, 데이터 증강 기술을 활용할 수 있습니다. 이는 소량의 데이터를 보다 효과적으로 활용하기 위해 기존 데이터를 변형하거나 확장하는 기술을 의미합니다. 예를 들어, 데이터 증강을 통해 소량의 화자 데이터를 다양한 방식으로 변형하여 모델이 더 많은 다양성을 학습할 수 있도록 도와줄 수 있습니다. 또한, 생성 모델을 사용하여 데이터를 합성하거나 변형함으로써 데이터 양을 증가시키는 방법도 효과적일 수 있습니다. 이를 통해 모델이 더 많은 화자 유사성과 자연스러움을 달성할 수 있을 것으로 기대됩니다.

화자 유사성 향상을 위해 화자 임베딩을 텍스트 인코더에 도입한 것 외에, 다른 어떤 방법으로 화자 정보를 모델에 효과적으로 반영할 수 있을까?

화자 정보를 모델에 효과적으로 반영하기 위해, 화자 특성을 보다 명확하게 구분짓는 방법을 고려할 수 있습니다. 예를 들어, 화자 특성을 나타내는 추가적인 특징을 모델에 입력으로 제공하거나, 화자 간의 상대적인 차이를 강조하는 손실 함수를 도입하는 방법이 있습니다. 또한, 화자 임베딩을 보다 정교하게 조정하여 특정 화자의 특징을 뚜렷하게 학습하도록 유도하는 방법도 효과적일 수 있습니다. 이러한 방법을 통해 모델이 화자 유사성을 높이는 데 도움을 줄 수 있습니다.

음성 합성 기술이 발전하면서 다양한 응용 분야에서 활용될 수 있다. 이러한 기술이 향후 어떤 방향으로 발전하고 어떤 새로운 활용 사례가 등장할 것으로 예상되는가?

음성 합성 기술은 향후 더욱 혁신적인 발전을 거듭할 것으로 예상됩니다. 예측 가능한 발전 방향으로는 더 자연스러운 음성 생성, 다양한 화자나 언어의 모델 개발, 실시간 대화 시스템에의 적용 등이 있습니다. 또한, 음성 합성 기술은 음성 보조 기술, 음성 인식 및 번역, 음성 기반 인터페이스 등 다양한 분야에서 활용될 것으로 예상됩니다. 더 나아가, 음성 합성 기술은 음성 콘텐츠 생성 및 개인화된 음성 서비스 제공과 같은 새로운 활용 사례가 더욱 늘어날 것으로 전망됩니다.