인도 아대륙 일상 대화에서의 제로샷 및 코드 혼합 음성 합성

Centrala begrepp

인도 언어의 음성적, 언어적 유사성을 활용하여 제로샷 음성 합성과 자연스러운 코드 혼합 및 전환 음성 합성을 가능하게 하는 Common Label Set(CLS) 기반 시스템.

Sammanfattning

인도 아대륙 일상 대화에서의 제로샷 및 코드 혼합 음성 합성: 연구 논문 요약

참고 문헌: Pathak, U., G, C. s. k., Sathiyamoorthy, S., Agarwal, K., & Murthy, H. A. (2025). Everyday Speech in the Indian Subcontinent. ICASSP 2025-2025 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE.

연구 목적: 본 연구는 인도 언어의 음성 합성, 특히 제로 리소스 언어와 코드 혼합 및 전환이 빈번한 일상 대화에 중점을 두고 있습니다. 목표는 제로샷 학습을 통해 새로운 인도 언어에 대한 음성 합성 시스템을 구축하고 자연스러운 코드 혼합 및 전환 음성을 생성하는 것입니다.

방법:

• 본 연구에서는 인도 언어의 음소를 음향적 유사성에 따라 공통 집합에 매핑하는 Common Label Set(CLS)를 활용합니다.
• CLS는 모든 22개 공식 인도 언어를 수용하도록 수정되었으며, 코드 혼합 및 전환 음성 합성을 지원하기 위해 누락된 소리를 매핑하는 등 추가 수정이 이루어졌습니다.
• σανσκριτ어와 콘칸어의 두 가지 방언을 제로 리소스 음성 합성의 예시로 사용했습니다.
• σανσκριτ어 텍스트는 인도아리아어 파서를 사용하여 CLS로 매핑되었지만, CLS 시퀀스는 텔루구어/칸나다어 음성 합성 시스템에 입력되어 언어적 유사성을 활용했습니다.
• 마찬가지로 북 콘칸어에는 마라티어 TTS 시스템을, 남 콘칸어에는 칸나다어 TTS 시스템을 사용했습니다.
• 코드 혼합 및 전환 음성 합성의 경우, 수정된 통합 파서를 사용하여 다양한 언어의 텍스트를 CLS 레이블로 변환한 다음 특정 음성을 사용하여 합성했습니다.

주요 결과:

• 제로샷 음성 합성 평가 결과, 제안된 접근 방식은 리소스가 없는 σανσκριτ어와 콘칸어 모두에 대해 이해할 수 있고 자연스러운 음성 품질을 생성했습니다.
• 평균 의견 점수(MOS) 테스트에서 텔루구어 TTS 시스템을 사용한 σανσκριτ어 합성은 3.74점, 칸나다어 TTS 시스템을 사용한 합성은 4.40점을 받았습니다.
• 북 콘칸어의 경우 마라티어 TTS 시스템을 사용했을 때 MOS 점수가 3.82점으로 나타났습니다.
• AXY 차별화 테스트를 통해 북 콘칸어 화자는 칸나다어 TTS 시스템보다 마라티어 TTS 시스템을 선호하는 것으로 확인되었으며, 이는 대상 방언/미확인/저자원 언어에 적합한 TTS 모델을 선택하는 것의 중요성을 보여줍니다.
• 코드 혼합 및 전환 음성 합성 평가에서는 모국어가 아닌 음성을 사용한 단일 언어 합성이 상당한 품질을 생성한다는 것이 입증되었습니다.
• 힌디어와 칸나다어 합성기를 사용하여 생성된 코드 혼합 스토리에 대한 MOS 테스트에서 자연스러움과 이해도 측면에서 좋은 점수를 받았습니다.
• 또한 언어 식별 작업을 통해 참가자는 동일한 화자가 말하는 다양한 언어를 구분하고 언어 전환을 정확하게 표시할 수 있었습니다.

의의:

• 본 연구는 인도 언어의 제로샷 음성 합성과 자연스러운 코드 혼합 및 전환 음성 합성을 위한 CLS 기반 시스템의 효과를 강조합니다.
• 언어적 유사성을 활용하고 누락된 소리를 매핑함으로써 이 시스템은 리소스가 제한적인 언어에 대한 고품질 음성 합성을 가능하게 하고 인도 아대륙의 다양한 언어적 환경에서 관찰되는 코드 혼합 패턴을 모델링할 수 있습니다.

제한 사항 및 향후 연구:

• 본 연구에서는 제한된 수의 인도 언어를 고려했습니다.
• 더 많은 수의 언어를 포괄하는 CLS 시스템의 성능을 평가하려면 추가 연구가 필요합니다.
• 또한 다양한 코드 혼합 유형과 복잡성을 처리하기 위해 코드 혼합 및 전환 음성 합성 시스템을 개선할 수 있습니다.
• 다양한 인도어 음성 합성 시스템의 사회적 영향과 잠재적 편견을 조사하는 것도 중요한 연구 방향입니다.

Statistik

인도에는 22개의 공식 언어와 약 66개의 문자가 사용됩니다.
대부분의 인도인은 2~3개 언어(힌디어, 영어, 일부 지역 언어)를 구사합니다.
인도 언어의 음소 수는 40~60개입니다.
CLS(Common Label Set)에는 현재 72개의 소리가 포함되어 있습니다.
힌디어는 인구의 40% 이상이 사용하는 언어입니다.

Citat

"인도 아대륙은 다양한 문화와 언어가 있는 곳입니다."
"대부분의 인도인은 다국어를 구사하며 코드 혼합(영어와 모국어)은 시골 사람들 사이에서도 매우 흔합니다."
"이러한 노력과 다국어 사용은 자연스러운 코드 혼합/전환 합성기를 구축해야 할 필요성을 강력하게 뒷

Viktiga insikter från

Everyday Speech in the Indian Subcontinent

by Utkarsh Path... på arxiv.org 10-15-2024

https://arxiv.org/pdf/2410.10508.pdf