Effiziente und aufgabenunabhängige BERT-Komprimierung durch gewichtsbasierte Destillation
Die vorgeschlagene Methode der gewichtsbasierten Destillation (WID) überträgt das Wissen direkt von einem großen Lehrermodell auf ein kompaktes Schülermodell, ohne zusätzliche Ausrichtungsverluste zu verwenden.
