Jetfire: Effizientes und genaues Transformer-Pretraining mit INT8-Datenfluss und blockweiser Quantisierung

Unser Jetfire-Verfahren bietet eine effiziente und genaue INT8-Trainingsmethode, die speziell für Transformer entwickelt wurde. Es zeichnet sich durch einen INT8-Datenfluss zur Optimierung des Speicherzugriffs und eine blockweise Quantisierungsmethode aus, um die Genauigkeit von vortrainierten Transformern beizubehalten.