Infini-gram: Skalierung unbegrenzter n-Gramm-Sprachmodelle auf ein Billionen-Token-Korpus

Wir modernisieren das klassische n-Gramm-Sprachmodell, indem wir es auf ein Billionen-Token-Korpus skalieren und auf unbegrenztes n erweitern. Unser Infini-gram-Motor ermöglicht effiziente Ausbildung und Inferenz in diesem extremen Setup. Das ∞-Gramm-Sprachmodell, das vom Infini-gram-Motor angetrieben wird, bietet neue Erkenntnisse über von Menschen geschriebene und von Maschinen generierte Texte und kann bestehende neuronale Sprachmodelle verbessern.