Wir stellen ein Outlier-effizientes modernes Hopfield-Modell vor, das die Herausforderung der Outlier-Ineffizienz bei der Quantisierung riesiger Transformer-basierter Modelle adressiert. Unser Modell ermöglicht Outlier-effiziente assoziative Speicherabrufe und kann als leistungsfähige Aufmerksamkeitsalternative in Deep-Learning-Architekturen eingesetzt werden.
Eine neuartige Methode zur Erhöhung des Rangs von niedrigrangigen Matrizen ohne zusätzliche Parameter, indem eine Sinusfunktion in den Zerlegungsprozess integriert wird. Dies ermöglicht eine effizientere Modellierung ohne Genauigkeitsverlust.