이 논문은 850개의 스페인어 뉴스 기사로 구성된 NoticIA 데이터셋을 소개한다. 각 기사에는 클릭베이트 헤드라인과 사람이 작성한 단일 문장 요약이 포함되어 있다.
이 과제는 모델의 텍스트 이해 및 요약 능력을 시험한다. 모델은 먼저 클릭베이트 헤드라인이 제시하는 질문을 파악하고, 기사 본문에서 그에 대한 답변을 찾아내야 한다. 이는 모델의 추론 및 정보 연결 능력을 요구한다.
실험 결과, GPT-4가 가장 높은 품질의 요약을 생성했으며, Nous-Hermes-2-Yi-34B가 가장 간단한 요약을 제공했다. 이는 모델이 사람이 작성한 요약과 유사한 수준의 성능을 보여줌을 의미한다. 또한 이 데이터셋이 스페인어 언어 모델의 텍스트 이해 능력을 평가하고 향상시키는 데 효과적임을 보여준다.
A otro idioma
del contenido fuente
arxiv.org
Consultas más profundas