Erstellung eines synthetischen Datensatzes und Feinabstimmung von Transformer-Modellen für Frage-Antwort-Systeme auf Serbisch
Durch die Verwendung einer angepassten Translate-Align-Retrieve-Methode wurde der größte serbische Frage-Antwort-Datensatz mit mehr als 87.000 Beispielen erstellt. Dieser Datensatz wurde verwendet, um mehrere vortrainierte Frage-Antwort-Modelle feinabzustimmen, wobei das BERTić-Modell auf der lateinischen Version des Datensatzes die besten Ergebnisse erzielte.
Herausforderungen bei der neuronalen semantischen Analyse mit anspruchsvollen Benchmarks
Neuronale Modelle für semantische Analyse und Generierung zeigen Leistungseinbußen auf herausfordernden Testsets, was die Grenzen dieser Modelle offenlegt.
Wie überwachtes Wissen große Sprachmodelle zu besseren Lernenden im Kontext macht
Überwachtes Wissen aus kleinen, aufgabenspezifischen Sprachmodellen kann die Leistung großer Sprachmodelle bei der Verarbeitung von Daten außerhalb der Verteilung signifikant verbessern und Halluzinationen reduzieren.
Generierung von Fragen in wissensbasierten Dialogen: Erklärbarkeit und Bewertung
Wir präsentieren ein Modell zur Fragengeneration in wissensbasierten Dialogen, das statt einer direkten Fragengenerierung sequenziell zunächst einen Fakt und dann eine Frage vorhersagt. Dieses Vorgehen ermöglicht eine detaillierte referenzlose Bewertung des Modellverhaltens in Bezug auf Relevanz, Faktizität und Pronominalisierung.
Effiziente Verarbeitung und Analyse von Inhalten zur Gewinnung von Erkenntnissen: Diskurs-bewusste In-Kontext-Lernung für die Normalisierung von Zeitausdrücken
Durch den Einsatz von Large Language Models (LLMs) in Kombination mit einer diskurs-bewussten In-Kontext-Lernmethode können Zeitausdrücke in Texten effizient normalisiert werden, auch in Domänen und Sprachen, die vom Trainingsdatensatz abweichen.
Eine umfassende Studie zur Erkennung und Klassifizierung logischer Fehlschlüsse
MAFALDA ist ein Benchmark für die Klassifizierung logischer Fehlschlüsse, der bestehende Datensätze zusammenführt und vereinheitlicht. Das Projekt umfasst eine Taxonomie zur Ausrichtung, Verfeinerung und Vereinheitlichung bestehender Klassifizierungen von Fehlschlüssen, eine manuelle Annotation eines Teils des Datensatzes mit Erklärungen, ein neues Annotationsschema für subjektive NLP-Aufgaben sowie eine neue Bewertungsmethode zur Handhabung von Subjektivität.
Nicht-autoregressive Textgenerierung mit Richtungseinschränkungen für Directed Acyclic T5 unter Verwendung gewichteter endlicher Zustandsautomaten
Wir stellen Control-DAG vor, einen eingeschränkten Decodieralgorithmus für unser Directed Acyclic T5 (DA-T5)-Modell, der lexikalische, Vokabular- und Längensteuerung bietet. Wir zeigen, dass Control-DAG DA-T5 auf den Schema Guided Dialogue- und DART-Datensätzen deutlich verbessert und starke nicht-autoregressive Ergebnisse für dialogorientierte und datengesteuerte Textgenerierung erzielt.
Verbesserung der automatischen Bewertung der faktischen Konsistenz durch Verwendung weniger Daten
Durch die Verwendung einer kleineren Teilmenge der Trainingsdaten und der Erstellung synthetischer Robustheitsdaten kann ein verbessertes Modell zur Bewertung der faktischen Konsistenz von maschinell generierten Texten entwickelt werden.
Effiziente Verarbeitung und Analyse von Inhalten zur Gewinnung von Erkenntnissen: Eine Methode zur Darstellung und Berechnung von Wortmengen in Vektorräumen
Durch die Repräsentation von Wortmengen als lineare Teilräume (Subräume) in vortrainierten Worteinbettungen können effiziente Berechnungen von Mengenoperationen wie Vereinigung, Schnittmenge und Komplement durchgeführt werden. Dies ermöglicht eine verbesserte Erfassung semantischer Beziehungen zwischen Wortgruppen und führt zu besseren Ergebnissen bei Aufgaben wie Textähnlichkeit und Mengenerweiterung.
Effiziente Verarbeitung und Analyse von Inhalten zur Erkennung von Halluzinationen
Entwicklung neuartiger Systeme zur Erkennung von Halluzinationen in Sprachtechnologie-Systemen, die auf einer Vielzahl von Strategien basieren, um Modellvorhersagen mit Referenzstandards zu vergleichen, einschließlich diverser Basislinien, der Verfeinerung von vortrainierten Encodern durch überwachtes Lernen und Ensemble-Ansätze mit mehreren hochleistungsfähigen Modellen.
