Einfache lineare Transformatoren reproduzieren die charakteristischen Merkmale der Optimierung komplexer Transformatoren

Einfache lineare Transformer-Modelle, die auf zufälligen linearen Regressionsproblemen trainiert werden, können die charakteristischen Merkmale der Optimierung komplexer Transformer-Modelle reproduzieren.