Auswirkungen von Modellkompression auf die Robustheit gegenüber Untergruppen bei Sprachmodellen

Modellkompression führt nicht immer zu einer Verschlechterung der Leistung auf Minderheitsuntergruppen, sondern kann die Leistung über alle Untergruppen hinweg verbessern, insbesondere bei Datensätzen, bei denen das Modell leicht überangepasst ist.