Der Artikel präsentiert einen neuartigen Ansatz zur Destillation des Meta-Verständnisses von Informationsextraktion (IE) aus großen Sprachmodellen (LLMs) in effizientere, kleinere Sprachmodelle. Dafür wird ein synthetischer Datensatz namens MetaIE erstellt, indem LLMs angewiesen werden, "wichtige Informationen" aus Texten zu extrahieren. Dieser Datensatz deckt ein breites Spektrum an IE-Aufgaben ab und ermöglicht es, ein kleines Sprachmodell als Meta-Modell zu destillieren.
Die Evaluierung zeigt, dass das MetaIE-Modell eine starke Übertragbarkeit auf alle IE-Aufgaben aufweist, insbesondere auf solche, die außerhalb des Trainingsbereichs liegen. Im Vergleich zu anderen Methoden wie der Feinabstimmung auf einzelnen IE-Aufgaben oder dem Multi-Task-Lernen auf manuell annotierten Datensätzen schneidet MetaIE deutlich besser ab. Die Autoren führen umfangreiche Analysen durch, um die Skalierbarkeit, Architektur und Leistungsfähigkeit des Meta-Modells zu untersuchen.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Letian Peng,... at arxiv.org 04-02-2024
https://arxiv.org/pdf/2404.00457.pdfDeeper Inquiries