Core Concepts
Große Sprachmodelle zeigen Sensibilität für semantische Eigenschaften, aber scheitern an der NOVELTY-Bedingung.
Abstract
Das LIEDER-Dataset ermöglicht eine detaillierte Untersuchung der Kenntnisse von Sprachmodellen über semantische Eigenschaften bei der Erkennung von Diskurseinheiten. Es zeigt, dass Modelle EXISTENZ, EINZIGARTIGKEIT und MEHRZAHL beherrschen, aber Schwierigkeiten mit NOVELTY haben. Es wird auch ein Effekt der DISTANZ bei der DE-Erkennung beobachtet.
Inhaltsverzeichnis
Einführung
DE-Erkennung bei Menschen und Sprachmodellen
Bewertung der DE-Erkennung
Untersuchung von Sprachmodellen auf linguistische Eigenschaften
Kriterien für die DE-Erkennung
Existenz, Einzigartigkeit, Mehrzahl und Neuheit
Das LIEDER-Dataset
Struktur und Zweck
Experimente
Leistung von Sprachmodellen auf dem LIEDER-Dataset
Experiment 2: Förderung der Neuheit
Auswirkungen expliziter Hinweise auf Unterscheidungen
Diskussion
Bedeutung linguistischer Überlegungen für die Bewertung von Sprachmodellen
Stats
Große Sprachmodelle zeigen Sensibilität für linguistische Eigenschaften.
Modelle haben Schwierigkeiten mit der NOVELTY-Bedingung.
Quotes
"Ein zentraler Bestandteil des Sprachverständnisses ist die Fähigkeit, Entitäten im Text zu erkennen." - Abstract
"Wir finden Hinweise darauf, dass modernste große Sprachmodelle Sensibilität für alle diese Eigenschaften zeigen, außer für NEUHEIT." - Zusammenfassung