Core Concepts
Meta-Task Prompting ermöglicht hochwertige Satz-Embeddings aus großen Sprachmodellen ohne Feinabstimmung.
Stats
In diesem Werk führen wir eine neue unüberwachte Einbettungsmethode ein, Meta-Task Prompting mit expliziter Ein-Wort-Begrenzung (MetaEOL).
Unsere umfassenden Experimente zeigen, dass durchschnittliche Einbettungen aus verschiedenen Meta-Aufgaben wettbewerbsfähige Leistungen auf STS-Benchmarks erzielen.
MetaEOL bietet eine vielseitige, ressourceneffiziente Methode für die Einbettungsextraktion in verschiedenen satzzentrierten Szenarien.
Quotes
"MetaEOL führt zu wettbewerbsfähigen Ergebnissen auf STS-Benchmarks und überragt kontrastiv trainierte Modelle."
"Unsere Ergebnisse legen ein neues Skalierungsgesetz für die Einbettungserzeugung nahe."