Die Studie präsentiert eine neue Methode namens Token-Level Prompt Decomposition (TOPRO), die für Sequenzmarkierungsaufgaben wie Named Entity Recognition (NER) und Part-of-Speech (POS)-Tagging entwickelt wurde. TOPRO zerlegt eine Eingabesatzsequenz in einzelne Token und wendet eine Prompt-Vorlage auf jeden Token an, um die Leistung von mehrsprachigen Sprachmodellen bei Nullshot-Kreuzsprachentransfer zu verbessern.
Die Experimente zeigen, dass TOPRO-basiertes Fine-Tuning die Vanilla-Fine-Tuning- und Prompt-Tuning-Basislinien bei den beiden Sequenzmarkierungsaufgaben übertrifft, insbesondere für Sprachen, die sich stark vom Englischen unterscheiden. TOPRO erreicht auch Spitzenleistungen, wenn es mit dem mT5-Modell eingesetzt wird. Darüber hinaus zeigt eine explorative Studie, dass TOPRO im Vergleich zu den derzeitigen In-Context-Learning-Methoden bei mehrsprachigen großen Sprachmodellen deutlich besser abschneidet.
Insgesamt zeigen die Leistungsverbesserungen, dass TOPRO als neuartige und einfache Benchmark-Methode für Sequenzmarkierungsaufgaben dienen könnte.
Til et andet sprog
fra kildeindhold
arxiv.org
Vigtigste indsigter udtrukket fra
by Bole... kl. arxiv.org 03-14-2024
https://arxiv.org/pdf/2401.16589.pdfDybere Forespørgsler