Belangrijkste concepten
Diese Studie stellt einen übersetzten Datensatz für mehrsprachige Koreferenzauflösung (TransMuCoRes) in 31 südasiatischen Sprachen vor und evaluiert zwei End-to-End-Koreferenzauflösungsmodelle auf einem manuell annotierten Hindi-Datensatz.
Samenvatting
Die Studie konzentriert sich auf die Koreferenzauflösung in südasiatischen Sprachen, da diese Sprachen von etwa 25% der Weltbevölkerung gesprochen werden und drei der zehn am weitesten verbreiteten Sprachen weltweit aus dieser Region stammen.
Die Hauptbeiträge der Arbeit sind:
Einführung eines übersetzten Datensatzes für mehrsprachige Koreferenzauflösung (TransMuCoRes) in 31 südasiatischen Sprachen.
Veröffentlichung von Checkpoints für zwei einfache Koreferenzauflösungsmodelle, die auf dem TransMuCoRes-Datensatz und einem manuell annotierten Hindi-Koreferenzauflösungsdatensatz feinabgestimmt wurden.
Hervorhebung der Einschränkungen aktueller Koreferenzbewertungsmetriken bei der Anwendung auf Datensätze mit gespaltenen Antezedenzen und Plädoyer für die Entwicklung geeigneterer Bewertungsmetriken.
Der TransMuCoRes-Datensatz wurde durch Übersetzung englischer Sätze in 31 südasiatische Sprachen und anschließende Wort-Alignment-Vorhersage erstellt. Die Qualität der Übersetzungen und Ausrichtungen wurde überprüft, wobei festgestellt wurde, dass fast alle Übersetzungen den Qualitätscheck bestehen und 75% der englischen Referenzen mit ihren vorhergesagten Übersetzungen ausgerichtet sind.
Zwei einfache Koreferenzauflösungsmodelle wurden auf einer Kombination von TransMuCoRes und einem manuell annotierten Hindi-Koreferenzauflösungsdatensatz feinabgestimmt. Das beste Modell erzielte einen LEA-F1-Wert von 64 und einen CoNLL-F1-Wert von 68 auf dem Hindi-Testdatensatz. Dies ist die erste Studie, die ein End-to-End-Koreferenzauflösungsmodell auf einem Hindi-Golddatensatz evaluiert.
Darüber hinaus zeigt diese Arbeit die Einschränkungen aktueller Koreferenzbewertungsmetriken bei der Anwendung auf Datensätze mit gespaltenen Antezedenzen auf und plädiert für die Entwicklung geeigneterer Bewertungsmetriken.
Statistieken
Fast alle Übersetzungen (über 99,9%) bestehen den Qualitätscheck.
75% der englischen Referenzen sind mit ihren vorhergesagten Übersetzungen ausgerichtet.
Das beste Modell erreicht einen LEA-F1-Wert von 64 und einen CoNLL-F1-Wert von 68 auf dem Hindi-Testdatensatz.
Citaten
Keine relevanten Zitate gefunden.