Conceptos Básicos
이 과제는 14개 언어의 문장 쌍에 대한 의미적 텍스트 관련성 점수를 예측하는 것을 목표로 합니다.
Resumen
이 과제는 의미적 텍스트 관련성(STR)에 초점을 맞춘 최초의 공동 과제입니다. 이전의 공동 과제들은 주로 의미적 유사성에 초점을 맞추었지만, 이 과제에서는 아프리카와 아시아 지역의 14개 언어에 걸쳐 더 광범위한 의미적 관련성 현상을 조사합니다.
각 데이터셋은 두 문장 간의 의미적 텍스트 관련성 정도를 나타내는 점수가 부여된 문장 쌍으로 구성됩니다. 참가 시스템은 14개 언어에서 문장 쌍의 의미적 관련성 정도(즉, 의미적 관련성 정도)에 따라 순위를 매겨야 했습니다. 이 과제에는 163명의 참가자가 참여했으며, 51개 팀에서 총 70건의 제출물이 있었고 38개 팀이 시스템 설명 논문을 제출했습니다. 우리는 3가지 다른 트랙(감독, 비감독, 크로스링구얼)에 대한 최고 성능 시스템과 가장 일반적이고 효과적인 접근 방식을 보고합니다.
Estadísticas
문장 쌍의 의미적 관련성 정도는 0(완전히 관련 없음)에서 1(최대 관련)까지의 범위입니다.
데이터셋은 다양한 주제와 공식성 수준을 다루는 기존 데이터셋에서 선별된 문장 쌍으로 구성됩니다.
문장 쌍의 관련성 점수는 모국어 화자가 Best-Worst Scaling을 사용하여 수행한 비교 평가를 통해 생성되었습니다.
각 데이터셋의 split-half 신뢰도 점수는 0.64에서 0.96 사이입니다.
Citas
"의미적 텍스트 관련성(STR)은 텍스트의 의미를 이해하는 데 핵심적입니다."
"이전 공동 과제는 주로 텍스트 유사성에 초점을 맞추었지만, 이 과제에서는 더 광범위한 의미적 관련성 현상을 조사합니다."
"이 과제는 아프리카와 아시아 지역의 상대적으로 제한된 NLP 리소스로 특징지어지는 14개 언어를 다룹니다."