Velocitune：一種基於學習速度的動態領域加權方法，用於持續預訓練大型語言模型

Velocitune 是一種新穎的框架，它通過動態評估學習速度並相應調整資料比例，在持續預訓練期間平衡不同領域的學習進度，從而提高大型語言模型的效能。