大規模言語モデルのプリトレーニングにおけるベイズ最適化を用いたチェックポイントマージング

大規模言語モデルのプリトレーニングにおいて、ベイズ最適化を用いてチェックポイントを最適に統合することで、リソース消費を大幅に削減しつつ性能を向上させることができる。