核心概念
Durch den Einsatz großer Sprachmodelle zur Generierung von Sätzen mit Sprachdisfluenzen als Trainingsdaten kann die Leistung von Disfluenz-Erkennungsmodellen deutlich verbessert werden, ohne dass eine aufwendige Feinabstimmung der Sprachmodelle erforderlich ist.
要約
Die Studie präsentiert einen Ansatz zur effizienten Generierung von Sätzen mit Sprachdisfluenzen, um die Leistung von Disfluenz-Erkennungsmodellen zu verbessern. Dazu wird ein großes Sprachmodell (LLM) genutzt, das durch spezifische Eingabeaufforderungen (Prompts) dazu angeleitet wird, diverse und realistische Sätze mit Disfluenzen zu erzeugen. Um die Qualität der generierten Sätze weiter zu verbessern, wird ein Filteransatz eingesetzt, der auf der Unsicherheit der Disfluenz-Erkennung basiert.
Die generierten Sätze werden dann als zusätzliche Trainingsdaten für ein einfaches Disfluenz-Erkennungsmodell verwendet. Die Experimente zeigen, dass dieser Ansatz zu state-of-the-art-Ergebnissen führt, auch wenn nur eine geringe Menge an generierten Daten verwendet wird. Dies demonstriert die Effizienz und Kostengünstigkeit des vorgestellten Verfahrens im Vergleich zu anderen Methoden der Datengenerierung.
統計
{C und/CC } sie/PRP werden/VBP ein/DT Haushaltsthema/NN ,/, {F ähm/UH ,/, } haben/VBP es/PRP bis/IN zu/TO diesem/DT Punkt/NN noch/RB nicht/RB wirklich/RB gewesen/VBN ./. E S
{C und/CC } sie/PRP fangen/VBP an/PRT ,/, {F ähm/UH ,/, } ein/DT Budgetproblem/NN zu/TO werden/VB ,/, aber/CC {F ähm/UH ,/, } sie/PRP sind/VBP es/PRP bis/IN zu/TO diesem/DT Zeitpunkt/NN noch/RB nicht/RB wirklich/RB gewesen/VBN ./. E S
Jetzt/UH {F ähm/UH ,/, } weiß/VBP ich/PRP ,/, dass/IN mein/PRP$ Chef/NN die/DT Software/NN gekauft/VBN hat/VBZ ,/, {F ähm/UH ,/, } die/WDT er/PRP verwenden/VBP kann/MD ,/, um/TO sein/PRP$ Scheckbuch/NN auf/IN einer/DT Disk/NN zu/TO haben/VB ./. E S
引用
"Aktuelle Methoden zur Erkennung von Sprachdisfluenzen sind stark von kostspieligen und seltenen manuell annotierten Daten abhängig."
"Unser Ansatz ermöglicht es, das Wissen aus großen Sprachmodellen in kleine Erkennungsmodelle zu destillieren, was zu effizienten und leichtgewichtigen Modellen führt."