Effiziente Quantisierung großer Sprachmodelle durch äquivalente affine Transformation
Die vorgeschlagene Methode AffineQuant nutzt direkte Optimierung äquivalenter affiner Transformationen in der Post-Training-Quantisierung, um die Quantisierungsfehler signifikant zu reduzieren, insbesondere bei sehr niedrigen Bitbreiten. Durch Verwendung der inversen Matrix wird die Äquivalenz zwischen den Ausgaben vor und nach der Quantisierung aufrechterhalten, wodurch die Effizienz und Generalisierungsfähigkeit erhalten bleiben.
Effiziente Quantisierung großer Sprachmodelle durch Cross-Block-Rekonstruktion
Die vorgeschlagene CBQ-Methode führt eine kreuzblockbasierte Rekonstruktion durch, um die Quantisierungsparameter von Gewichten und Aktivierungen gemeinsam zu optimieren. Dadurch werden Fehlerakkumulationen über das gesamte Modell hinweg reduziert und eine effiziente Quantisierung großer Sprachmodelle ermöglicht.
© 2024 by Linnk AI