Adapprox: Effiziente Approximation des Adam-Optimierers durch randomisierte niedrigrangige Matrizen

Adapprox verwendet randomisierte niedrigrangige Matrixapproximation, um den Speicherverbrauch des Adam-Optimierers effizient zu reduzieren, ohne die Genauigkeit zu beeinträchtigen. Es bietet einen adaptiven Rangsauswahlmechanismus und eine optionale Kosinussimilaritätssteuerung, um Stabilität und Konvergenzgeschwindigkeit zu verbessern.