Der Artikel präsentiert GPST, ein unüberwachtes syntaktisches Sprachmodell, das in der Lage ist, Sätze und deren Syntaxstrukturen gleichzeitig zu generieren. GPST besteht aus zwei Komponenten: einem generativen Modell für die Sprachmodellierung und einem Kompositionsmodell, das die Syntaxstrukturen induziert.
Das generative Modell erzeugt Sätze schrittweise von links nach rechts, indem es Wörter und Kompositionsaktionen vorhersagt. Das Kompositionsmodell verwendet einen effizienten, gekürzten Inside-Outside-Algorithmus, um Syntaxstrukturen in einer Bottom-up-Weise zu induzieren und Darstellungen von Konstituenten zu berechnen. Diese Darstellungen werden dann als Eingabe für das generative Modell verwendet, um eine parallele und gemeinsame Optimierung der beiden Komponenten zu ermöglichen.
GPST kann ohne Verwendung von Goldstandard-Syntaxbäumen trainiert werden und übertrifft bestehende unüberwachte syntaktische Sprachmodelle in Bezug auf Trainingseffizienz und Leistung bei der Induktion von Grammatiken. Darüber hinaus zeigt GPST Vorteile gegenüber GPT-2 in einer Vielzahl von Sprachverständnis- und Sprachgenerierungsaufgaben.
To Another Language
from source content
arxiv.org
Principais Insights Extraídos De
by Xiang Hu,Pen... às arxiv.org 03-14-2024
https://arxiv.org/pdf/2403.08293.pdfPerguntas Mais Profundas