Dieser Artikel stellt einen Meta-Datensatz für die Wenig-Schuss-Beziehungsextraktion (FSRE) vor, der drei Datensätze umfasst: NYT29, WIKIDATA und TACRED. Diese Datensätze wurden unter realistischen Annahmen erstellt, wie z.B. dass die Testbeziehungen sich von allen zuvor gesehenen Beziehungen unterscheiden, nur eine begrenzte Trainingsdatenmenge zur Verfügung steht und die meisten Kandidatenbeziehungserwähnungen nicht zu den Zielbeziehungen gehören.
Die Autoren führen eine umfassende Bewertung von sechs aktuellen FSRE-Methoden auf diesem Meta-Datensatz durch. Die Ergebnisse zeigen, dass keine Methode eindeutig als Gewinner hervorgeht. Darüber hinaus ist die Gesamtleistung der besten Modelle relativ gering, was auf einen erheblichen Bedarf an zukünftiger Forschung in diesem Bereich hindeutet.
Die Autoren stellen fest, dass die Leistung stark zwischen den Datensätzen variiert, was die Wichtigkeit der Verwendung mehrerer Evaluationsdatensätze unterstreicht, um eine realistische Einschätzung der Modellleistung zu erhalten. Die Analyse der Ergebnisse auf dem WIKIDATA-Datensatz deutet auf spezifische Herausforderungen hin, die in zukünftigen Forschungsarbeiten angegangen werden müssen.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Fahmida Alam... at arxiv.org 04-09-2024
https://arxiv.org/pdf/2404.04445.pdfDeeper Inquiries