Conceptos Básicos
Durch Trunkierung von Trainingsdaten mit hoher Fehlervektor-Norm kann die Leistung von Textgenerierungsmodellen bei verrauschten Trainingsdaten verbessert werden.
Resumen
Der Artikel präsentiert eine neue Methode zur robusten Textgenerierung, genannt "Error Norm Truncation" (ENT). Im Gegensatz zu bisherigen Methoden, die sich nur auf die Vorhersagewahrscheinlichkeit des Zielwortes konzentrieren, berücksichtigt ENT auch die Verteilung der Nicht-Zielwörter, um die Datenqualität genauer einzuschätzen.
Die Kernidee ist, den L2-Norm-Fehlervektor zwischen der vorhergesagten Wahrscheinlichkeitsverteilung und der One-Hot-Verteilung des Zielwortes zu verwenden, um verrauschte Trainingsdaten zu identifizieren und zu entfernen. Dies führt zu einer genaueren Einschätzung der Datenqualität als bisherige Methoden, die nur die Vorhersagewahrscheinlichkeit des Zielwortes betrachten.
Die Autoren zeigen in umfangreichen Experimenten für Sprachmodellierung, Maschinelle Übersetzung und Textzusammenfassung, dass ENT die Generierungsqualität im Vergleich zum Standard-Training und früheren Methoden zur Datentrunktion verbessert. Insbesondere zeigt ENT eine deutlich höhere Robustheit gegenüber zwei der schädlichsten Arten von Rauschen in der Maschinellen Übersetzung, was zu einem Anstieg von über 2 BLEU-Punkten gegenüber dem MLE-Baseline-Modell führt, wenn bis zu 50% Rauschen in die Daten eingefügt wird.
Estadísticas
"Die Menge der Nachfrage nach den Produkten in BCM ist zurückgegangen und da es in der Fertigung recht hohe Fixkosten gibt, können diese Anpassungen in ihren Volumenanforderungen an uns sich auf die Rentabilität und den Erfolg des BCM-Geschäfts auswirken."
"Etwa 200 Stellen sollen am Boots-Standort in Nottingham wegfallen."
Citas
"Sie werden verstehen, dass viele unserer Kunden unter der Rezession leiden, wie die meisten Unternehmen in Großbritannien."
"Die Anpassungen in ihren Volumenanforderungen an uns können sich auf die Rentabilität und den Erfolg des BCM-Geschäfts auswirken."