Effiziente Textdatensatzdestillation durch Generierung informativer synthetischer Proben

DiLM destilliert einen Textdatensatz in ein Sprachmodell, um informative synthetische Trainingsdaten zu generieren, die für das Training verschiedener Modelle unabhängig von deren Worteinbettungsgewichten verwendet werden können.