Die Studie präsentiert eine neue Methode namens Token-Level Prompt Decomposition (TOPRO), die für Sequenzmarkierungsaufgaben wie Named Entity Recognition (NER) und Part-of-Speech (POS)-Tagging entwickelt wurde. TOPRO zerlegt eine Eingabesatzsequenz in einzelne Token und wendet eine Prompt-Vorlage auf jeden Token an, um die Leistung von mehrsprachigen Sprachmodellen bei Nullshot-Kreuzsprachentransfer zu verbessern.
Die Experimente zeigen, dass TOPRO-basiertes Fine-Tuning die Vanilla-Fine-Tuning- und Prompt-Tuning-Basislinien bei den beiden Sequenzmarkierungsaufgaben übertrifft, insbesondere für Sprachen, die sich stark vom Englischen unterscheiden. TOPRO erreicht auch Spitzenleistungen, wenn es mit dem mT5-Modell eingesetzt wird. Darüber hinaus zeigt eine explorative Studie, dass TOPRO im Vergleich zu den derzeitigen In-Context-Learning-Methoden bei mehrsprachigen großen Sprachmodellen deutlich besser abschneidet.
Insgesamt zeigen die Leistungsverbesserungen, dass TOPRO als neuartige und einfache Benchmark-Methode für Sequenzmarkierungsaufgaben dienen könnte.
إلى لغة أخرى
من محتوى المصدر
arxiv.org
استفسارات أعمق