加速大型語言模型預訓練的小型模型初始化

本文提出了一種名為HyperCloning的方法,可以從預訓練的小型模型初始化更大型的語言模型,從而顯著加快大型模型的預訓練過程,並提高最終的準確度。