Kernkonzepte
VBART, das erste türkische Large Language Model (LLM) für Sequenz-zu-Sequenz, übertrifft bestehende Modelle in verschiedenen Textgenerierungsaufgaben und ebnet den Weg für die türkische natürliche Sprachverarbeitungsforschung.
Zusammenfassung
Inhaltsverzeichnis
Einleitung
Entwicklung der NLP-Forschung
Bedeutung von Transferlernen und Wortembedding-Methoden
Verwandte Arbeiten
BERTurk und hybride Lösungen
Textzusammenfassung, Titelgenerierung, Fragenbeantwortung und -generierung
Modell
Tokenizer, Netzwerkarchitektur, Pre-Training-Aufgabe, Trainingskorpus
Experimente
Textzusammenfassung, Titelgenerierung, Textparaphrasierung, Fragegenerierung und -beantwortung
Diskussion
Kompakter Tokenizer, Experimente und Vergleich mit anderen Modellen
Schlussfolgerung
Beitrag von VBART zur türkischen NLP-Forschung
Statistiken
VBART-Large-Modell hat 387M Parameter
VBART-XLarge-Modell hat 740M Parameter
135,7 GB bereinigtes Textkorpus
Zitate
"Unsere Arbeit zeigt, dass ein vorab trainiertes LLM für Türkisch bis zu 3-mal mehrsprachige Modelle übertrifft."