인도 아대륙 일상 대화에서의 제로샷 및 코드 혼합 음성 합성

Khái niệm cốt lõi

인도 언어의 음성적, 언어적 유사성을 활용하여 제로샷 음성 합성과 자연스러운 코드 혼합 및 전환 음성 합성을 가능하게 하는 Common Label Set(CLS) 기반 시스템.

Tóm tắt

인도 아대륙 일상 대화에서의 제로샷 및 코드 혼합 음성 합성: 연구 논문 요약

참고 문헌: Pathak, U., G, C. s. k., Sathiyamoorthy, S., Agarwal, K., & Murthy, H. A. (2025). Everyday Speech in the Indian Subcontinent. ICASSP 2025-2025 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE.

연구 목적: 본 연구는 인도 언어의 음성 합성, 특히 제로 리소스 언어와 코드 혼합 및 전환이 빈번한 일상 대화에 중점을 두고 있습니다. 목표는 제로샷 학습을 통해 새로운 인도 언어에 대한 음성 합성 시스템을 구축하고 자연스러운 코드 혼합 및 전환 음성을 생성하는 것입니다.

방법:

• 본 연구에서는 인도 언어의 음소를 음향적 유사성에 따라 공통 집합에 매핑하는 Common Label Set(CLS)를 활용합니다.
• CLS는 모든 22개 공식 인도 언어를 수용하도록 수정되었으며, 코드 혼합 및 전환 음성 합성을 지원하기 위해 누락된 소리를 매핑하는 등 추가 수정이 이루어졌습니다.
• σανσκριτ어와 콘칸어의 두 가지 방언을 제로 리소스 음성 합성의 예시로 사용했습니다.
• σανσκριτ어 텍스트는 인도아리아어 파서를 사용하여 CLS로 매핑되었지만, CLS 시퀀스는 텔루구어/칸나다어 음성 합성 시스템에 입력되어 언어적 유사성을 활용했습니다.
• 마찬가지로 북 콘칸어에는 마라티어 TTS 시스템을, 남 콘칸어에는 칸나다어 TTS 시스템을 사용했습니다.
• 코드 혼합 및 전환 음성 합성의 경우, 수정된 통합 파서를 사용하여 다양한 언어의 텍스트를 CLS 레이블로 변환한 다음 특정 음성을 사용하여 합성했습니다.

주요 결과:

• 제로샷 음성 합성 평가 결과, 제안된 접근 방식은 리소스가 없는 σανσκριτ어와 콘칸어 모두에 대해 이해할 수 있고 자연스러운 음성 품질을 생성했습니다.
• 평균 의견 점수(MOS) 테스트에서 텔루구어 TTS 시스템을 사용한 σανσκριτ어 합성은 3.74점, 칸나다어 TTS 시스템을 사용한 합성은 4.40점을 받았습니다.
• 북 콘칸어의 경우 마라티어 TTS 시스템을 사용했을 때 MOS 점수가 3.82점으로 나타났습니다.
• AXY 차별화 테스트를 통해 북 콘칸어 화자는 칸나다어 TTS 시스템보다 마라티어 TTS 시스템을 선호하는 것으로 확인되었으며, 이는 대상 방언/미확인/저자원 언어에 적합한 TTS 모델을 선택하는 것의 중요성을 보여줍니다.
• 코드 혼합 및 전환 음성 합성 평가에서는 모국어가 아닌 음성을 사용한 단일 언어 합성이 상당한 품질을 생성한다는 것이 입증되었습니다.
• 힌디어와 칸나다어 합성기를 사용하여 생성된 코드 혼합 스토리에 대한 MOS 테스트에서 자연스러움과 이해도 측면에서 좋은 점수를 받았습니다.
• 또한 언어 식별 작업을 통해 참가자는 동일한 화자가 말하는 다양한 언어를 구분하고 언어 전환을 정확하게 표시할 수 있었습니다.

의의:

• 본 연구는 인도 언어의 제로샷 음성 합성과 자연스러운 코드 혼합 및 전환 음성 합성을 위한 CLS 기반 시스템의 효과를 강조합니다.
• 언어적 유사성을 활용하고 누락된 소리를 매핑함으로써 이 시스템은 리소스가 제한적인 언어에 대한 고품질 음성 합성을 가능하게 하고 인도 아대륙의 다양한 언어적 환경에서 관찰되는 코드 혼합 패턴을 모델링할 수 있습니다.

제한 사항 및 향후 연구:

• 본 연구에서는 제한된 수의 인도 언어를 고려했습니다.
• 더 많은 수의 언어를 포괄하는 CLS 시스템의 성능을 평가하려면 추가 연구가 필요합니다.
• 또한 다양한 코드 혼합 유형과 복잡성을 처리하기 위해 코드 혼합 및 전환 음성 합성 시스템을 개선할 수 있습니다.
• 다양한 인도어 음성 합성 시스템의 사회적 영향과 잠재적 편견을 조사하는 것도 중요한 연구 방향입니다.

Thống kê

인도에는 22개의 공식 언어와 약 66개의 문자가 사용됩니다.
대부분의 인도인은 2~3개 언어(힌디어, 영어, 일부 지역 언어)를 구사합니다.
인도 언어의 음소 수는 40~60개입니다.
CLS(Common Label Set)에는 현재 72개의 소리가 포함되어 있습니다.
힌디어는 인구의 40% 이상이 사용하는 언어입니다.

Trích dẫn

"인도 아대륙은 다양한 문화와 언어가 있는 곳입니다."
"대부분의 인도인은 다국어를 구사하며 코드 혼합(영어와 모국어)은 시골 사람들 사이에서도 매우 흔합니다."
"이러한 노력과 다국어 사용은 자연스러운 코드 혼합/전환 합성기를 구축해야 할 필요성을 강력하게 뒷

Thông tin chi tiết chính được chắt lọc từ

Everyday Speech in the Indian Subcontinent

by Utkarsh Path... lúc arxiv.org 10-15-2024

https://arxiv.org/pdf/2410.10508.pdf