Retrieval-basierte spekulative Decodierung (REST) ist ein neuartiger Algorithmus, der die Textgenerierung von Sprachmodellen beschleunigt, indem er Entwurfstokens aus einem Datenspeicher anstelle eines kleinen Sprachmodells abruft.
Der Schlüssel ist es, das Wertmodell, das als Nebenprodukt des PPO-Trainings zum Bewerten von Teilausgabesequenzen entsteht, nicht zu verwerfen, sondern es stattdessen in Kombination mit dem Strategienetzwerk während der Inferenz-Generierung zu nutzen.
Ein Modell, das latente semantische Diffusion mit autoregressiver Erzeugung kombiniert, um flüssigen Text zu erzeugen und gleichzeitig globale Kontrolle über Absätze auszuüben.
DEE ist ein zweistufiges erklärbares Bewertungsverfahren, das eine effiziente Fehlererkennung in der ersten Phase und eine detaillierte Fehleranalyse in der zweiten Phase bietet, um die Qualität von maschinell generierten Texten in industriellen Anwendungen zu bewerten.
Glyph-ByT5 ist ein angepasster Textencoder, der durch Feinabstimmung des ByT5-Encoders unter Verwendung eines sorgfältig kuratierten Datensatzes von gekoppelten Glyph-Text-Paaren entwickelt wurde. Dieser Encoder ermöglicht eine deutlich genauere Textdarstellung in Bildern im Vergleich zu herkömmlichen Textencodern.
Ein einfaches zweistufiges Abstimmen und Optimieren-Verfahren für den Autorenstiltransfer mit geringen Ressourcen, das die Leistung von Baseline-Modellen übertrifft.
TEncDM ist ein innovativer Ansatz, der das Textkodierungs-Diffusionsmodell im Raum der Sprachmodellkodierungen trainiert und übertrifft bestehende nicht-autoregressive Modelle.