Der Artikel stellt ein Heterogenes Wissens-Sprachmodell (HKLM) vor, das unstrukturierte, halbstrukturierte und gut strukturierte Texte in einem gemeinsamen Darstellungsraum modelliert.
Für unstrukturierte Texte wird das Ziel der maskierten Sprachmodellierung (MLM) verwendet, um das domänenspezifische Wissen zu erlernen. Für halbstrukturierte Texte wird ein Titel-Matching-Training (TMT) vorgeschlagen, um zu klassifizieren, ob der Titel zum Absatz passt. Für gut strukturierte Texte wird eine Triple-Klassifizierung (TC) verwendet, um zu klassifizieren, ob das Wissenstripel modifiziert wurde.
Die Experimente zeigen, dass das HKLM-Modell mit nur 1/4 der Daten im Vergleich zum reinen Vortraining auf Textdaten bessere Ergebnisse erzielt. Das Modell wurde auch auf allgemeine Domänen übertragen und erzielte Leistungsverbesserungen auf dem XNLI-Datensatz.
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Hongyin Zhu,... a las arxiv.org 03-22-2024
https://arxiv.org/pdf/2109.01048.pdfConsultas más profundas