大規模語言模型訓練中的閒置時間利用：FreeRide

FreeRide是一個系統,旨在利用管道並行訓練中的閒置時間(即"泡沫")來執行附加的GPU工作負載(稱為側任務),從而提高GPU資源利用率並降低訓練成本,同時又不會對主要的管道訓練工作造成顯著影響。