Wie Wissensrepräsentationen die Leistung von Sprachmodellen verbessern können

Diese Dissertation untersucht, wie die Integration von Wissensrepräsentationen in Transformermodelle deren Leistung bei Aufgaben des Sprachverständnisses und der Sprachgenerierung verbessern kann. Die Arbeit zeigt, dass relevantes und aktuelles Wissen über Entitäten den Faktencheck von Nachrichten verbessert und dass die Integration von mehrsprachigen Entitäten die Übertragbarkeit auf andere Sprachen bei entitätszentrierten Aufgaben erhöht. Darüber hinaus werden effektive und robuste Methoden zur Extraktion strukturierter Wissensrepräsentationen aus Webtext vorgestellt. Schließlich wird demonstriert, dass auch andere Formen von Wissen, wie parametrisches Wissen und destilliertes Wissen aus großen Sprachmodellen, die Leistung bei wissensintensiven multimodalen und mehrsprachigen Aufgaben steigern können.