본 연구는 자기 지도 학습 음성 인코더의 코드 전환 능력을 직접적으로 평가하기 위한 새로운 제로 리소스 코드 전환 음성 벤치마크를 제안한다.
이 벤치마크는 정상적인 코드 전환 문장과 비문법적이거나 의미 없는 코드 전환 문장으로 구성된 쌍을 제공한다. 모델은 정상 문장에 더 높은 점수를 부여해야 한다. 이를 통해 모델의 코드 전환 시 문법적, 의미적 이해 능력을 평가할 수 있다.
실험 결과, 다국어 사전 학습 모델인 XLSR이 단일어 모델보다 코드 전환 시나리오에서 우수한 성능을 보였지만, 여전히 개선의 여지가 많은 것으로 나타났다. 이는 기존 음성 모델들의 코드 전환 능력이 제한적임을 시사한다.
본 연구는 음성 처리 분야에서 코드 전환 능력 향상을 위한 새로운 벤치마크를 제공하며, 이를 통해 관련 기술 발전에 기여할 것으로 기대된다.
In eine andere Sprache
aus dem Quellinhalt
arxiv.org
Wichtige Erkenntnisse aus
by Kuan-Po Huan... um arxiv.org 03-19-2024
https://arxiv.org/pdf/2310.03018.pdfTiefere Fragen