Kernkonzepte
Prätrainiertes Sprachmodell mit Hinweisen für zeitliche Wissensgraphen-Vervollständigung (PPT) ermöglicht effektive Integration von Informationen aus zeitlichen Wissensgraphen in Sprachmodelle.
Zusammenfassung
Das Paper stellt das PPT-Modell vor, das die zeitliche Wissensgraphen-Vervollständigung durch die Verwendung von Hinweisen in pretrainierten Sprachmodellen ermöglicht. Es adressiert Probleme wie unzureichende Extraktion von Informationen aus Zeitstempeln und unzureichende Nutzung impliziter Informationen in Relationen. Das Modell zeigt Wettbewerbsfähigkeit auf drei Benchmark-Datensätzen und bietet vielversprechende Ergebnisse im Vergleich zu anderen Modellen. Es konvertiert die TKGC-Aufgabe in eine Aufgabe zur Vorhersage maskierter Token, um semantische Informationen aus Zeitstempeln zu nutzen.
Einleitung
TKGC ist eine wichtige Aufgabe in zeitlichen Wissensgraphen.
TKGC kann in Interpolations- und Extrapolations-Einstellungen unterteilt werden.
Bestehende Methoden haben Schwierigkeiten bei der Extraktion von Informationen aus Zeitstempeln und Relationen.
Methodik
PPT verwendet Hinweise, um Entitäten, Relationen und Zeitstempel in PLM-Eingaben umzuwandeln.
TKGC wird in eine Aufgabe zur Vorhersage maskierter Token umgewandelt.
Das Training erfolgt mit einer Maskierungsstrategie.
Experimente
PPT übertrifft statische und TKGC-Modelle auf drei Benchmark-Datensätzen.
Es zeigt bessere Leistung bei der Handhabung zeitkritischer Relationen.
Verschiedene Varianten des Modells zeigen weniger zufriedenstellende Ergebnisse.
Statistiken
Wir konvertieren die quadruples in PLM-Eingaben.
Wir trainen das Modell mit einer Maskierungsstrategie.
Zitate
"Unser Modell kann effektiv Informationen aus zeitlichen Wissensgraphen in Sprachmodelle integrieren."