Durch die Verwendung neuartiger unüberwachter Vortrainingsmodelle zur Erlernung verteilter Textrepräsentationsmerkmale, die mit reichen syntaktisch-semantischen Mustern von Beziehungsausdrücken codiert sind, kann die Leistung des überwachten Basisklassifikationsmodells für die Beziehungsextraktion, insbesondere bei der Klassifizierung von Beziehungen mit nur wenigen Trainingsfällen, verbessert werden.
Die Autoren entwickeln zwei aufgabenspezifische Verlustfunktionen, die die Heterogenität der FEVER-Urteilsklassen besser berücksichtigen als die standardmäßige Kreuzentropieverlustfunktion. Die vorgeschlagenen Verlustfunktionen in Kombination mit einfacher Klassengewichtung führen zu einer Verbesserung der Vorhersagegenauigkeit.