Die Studie präsentiert ein heterogenes Wissenssprach-Vortrainingsmodell (HKLM), das unstrukturierte Freitexte, halbstrukturierte Titel und gut strukturierte Wissenstriple in einen gemeinsamen Darstellungsraum integriert.
Für unstrukturierte Texte verwendet das Modell das Ziel des maskierten Sprachmodells (MLM), um Wortkenntnis zu erlernen. Für halbstrukturierte Texte schlägt es ein Titelabgleichstraining (TMT) vor, um zu klassifizieren, ob der Titel zum Absatz passt. Für gut strukturierte Texte führt es eine Tripel-Klassifizierung (TC) durch, um zu bestimmen, ob das Wissenstripel modifiziert wurde.
Das Modell wurde auf 5 Datensätzen im Tourismusbereich evaluiert, darunter Namensnennung, Informationsextraktion, Frage-Antwort, feingranulare Entitätstypisierung und Dialog. Die Ergebnisse zeigen, dass das Modell mit nur einem Viertel der Daten des reinen Vortrainings auf Freitext bessere Leistungen erbringt. Darüber hinaus wurde das domänenübergreifende HKBERT-Modell auf dem XNLI-Datensatz getestet und erzielte ebenfalls Leistungsverbesserungen.
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Hongyin Zhu,... a las arxiv.org 03-22-2024
https://arxiv.org/pdf/2109.01048.pdfConsultas más profundas