Der Tod des Feature Engineering? BERT mit linguistischen Merkmalen auf SQuAD 2.0
Der Einsatz zusätzlicher linguistischer Merkmale in einem BERT-basierten Modell für die Beantwortung von Fragen verbessert die Leistung im Vergleich zu einem reinen BERT-Modell.
Fortschritte bei der neuronalen Datengenerierung von Texten: Eine Übersicht
Diese Übersicht bietet einen konsolidierten Einblick in das neuronale Paradigma der Datengenerierung von Texten (D2T) mit einer strukturierten Untersuchung der Ansätze, Benchmark-Datensätze und Evaluationsprotokolle. Sie grenzt D2T von anderen Bereichen der natürlichen Sprachgenerierung ab, umfasst eine auf dem neuesten Stand befindliche Synthese der Literatur und hebt die Stufen der technologischen Übernahme innerhalb und außerhalb des größeren NLG-Schirms hervor. Mit diesem ganzheitlichen Blick werden vielversprechende Wege für die D2T-Forschung hervorgehoben, die nicht nur auf das Design linguistisch leistungsfähiger Systeme, sondern auch auf Systeme abzielen, die Fairness und Rechenschaftspflicht aufweisen.
Erkennung von Grenzen zwischen menschlich geschriebenem und maschinell generiertem Text mit Hilfe von LLMs
Dieser Artikel untersucht die Fähigkeit von Large Language Models (LLMs), Grenzen in Texten zu erkennen, die sowohl von Menschen geschrieben als auch von Maschinen generiert wurden. Durch die Umwandlung der Aufgabe in ein Tokenklassifikationsproblem und den Einsatz von LLMs, die lange Abhängigkeiten gut erfassen können, erreicht das vorgestellte Ensemble-Modell den ersten Platz in der entsprechenden Teilaufgabe des SemEval'24-Wettbewerbs.
Verbesserung von Sequenz-zu-Sequenz-Modellen für abstraktive Textsammenfassung unter Verwendung von Meta-Heuristik-Ansätzen
Dieser Artikel zielt darauf ab, die bestehenden Architekturen und Modelle für die abstraktive Textsammenfassung zu verbessern, indem verschiedene Encoder-Decoder-Kombinationen, Hyperparameter-Feinabstimmung und der Einsatz von Bio-inspirierten Optimierungsalgorithmen untersucht werden.
