Effiziente Dimensionsreduktion von Satzeinbettungen für eine verbesserte Leistung in NLP-Aufgaben

Einfache Methoden wie Hauptkomponentenanalyse (PCA) können die Dimensionalität von Satzeinbettungen um fast 50% reduzieren, ohne dass ein signifikanter Leistungsverlust in mehreren Downstream-Aufgaben auftritt. Überraschenderweise verbessert eine weitere Reduzierung der Dimensionalität sogar die Leistung für einige Satzkodierer in bestimmten Aufgaben.