Universal NER: Multilingual Named Entity Recognition Benchmark

Concepts de base

UNER aims to provide high-quality, cross-lingually consistent annotations for multilingual NER research.

Résumé

Abstract:

UNER introduces an open, community-driven project for gold-standard NER benchmarks in multiple languages.
UNER v1 includes 19 datasets with named entities across 13 languages.
Introduction:

High-quality data in many languages is crucial for multilingual NLP.
Existing human-annotated NER datasets are limited, leading to the proposal of UNER.
Dataset Design Principles:

UNER focuses on three entity types: Person (PER), Organization (ORG), and Location (LOC).
Annotation schema inspired by Universal Dependencies aims for universality.
Dataset Annotation Process:

Data sourced from Universal Dependency corpora.
Annotators recruited from the multilingual NLP community via social media.
Annotations collected using TALEN tool with secondary annotators for inter-annotator agreement.
Universal NER: Statistics and Analysis:

Overview of UNER dataset covering 13 languages with diverse domains.
Inter-Annotator Agreement analysis reveals differences in ORG vs LOC tags.
Cross-Lingual Agreement analysis shows variance in entity counts and identities between languages.
Baselines for UNER:

XLM-R model finetuned on various training configurations shows promising results.
Related Work:

Mention of other efforts in adding NER layer to UD, multilingual NER resources, and modeling techniques.
Conclusion:

UNER provides standardized evaluations for multilingual NER research.

Stats

UNIVERSAL DEPENDENCIESのUDプロジェクトに基づいて、UNIVERSALNERプロジェクトは、13の言語をカバーするデータイニシアチブを導入します。

Citations

Idées clés tirées de

Universal NER

by Step... à arxiv.org 03-26-2024

https://arxiv.org/pdf/2311.09122.pdf

Questions plus approfondies

他の言語リソースと比較して、UNIVERSALNERプロジェクトの利点は何ですか？

Universal NER（UNER）プロジェクトは、多言語環境での名前付きエンティティ認識（NER）研究において、標準化された評価を提供することで大きな利点があります。従来のベンチマークデータセットでは英語に焦点が当てられている中、UNERは13種類もの異なる言語をカバーし、高品質かつ統一されたアノテーションを提供します。これにより、多言語環境でのNER研究が容易になります。さらに、UD（Universal Dependencies）プロジェクトと連携することで既存のデータリソースとも統合されるため、効果的な情報共有や学術交流が可能となります。