Diese Dissertation untersucht, wie die Integration von Wissensrepräsentationen in Transformermodelle deren Leistung bei Aufgaben des Sprachverständnisses und der Sprachgenerierung verbessern kann.
Im ersten Teil der Arbeit wird die Integration von strukturiertem Wissen in Sprachmodelle untersucht. Es wird gezeigt, dass Wissen über Entitäten den Faktencheck von Nachrichten verbessert und dass die Integration von mehrsprachigen Entitäten die Übertragbarkeit auf andere Sprachen bei entitätszentrierten Aufgaben erhöht.
Im zweiten Teil wird die effektive und robuste Extraktion strukturierter Wissensrepräsentationen aus Webtext adressiert. Hier werden Methoden vorgestellt, die die Qualität der extrahierten Wissensrepräsentationen durch die Einbeziehung von Negativbeispielen und die Verwendung von Entitätsplanung verbessern.
Im letzten Teil der Arbeit wird der Einfluss anderer Formen von Wissen, wie parametrisches Wissen und destilliertes Wissen aus großen Sprachmodellen, auf die Leistung bei wissensintensiven multimodalen und mehrsprachigen Aufgaben untersucht. Es wird gezeigt, dass diese Formen von Wissen die Leistung in diesen Bereichen ebenfalls steigern können.
Insgesamt zeigt die Arbeit die greifbaren Vorteile der Integration verschiedener Wissensformen und motiviert weitere Forschung in diese Richtung.
他の言語に翻訳
原文コンテンツから
arxiv.org
深掘り質問