大規模言語モデルの継続的な事前学習において、学習速度に基づいてドメインの重み付けを動的に調整する新しいフレームワーク「Velocitune」は、学習の進捗状況を均衡化することで、さまざまなタスクにおけるモデルの性能を向上させる。
大規模言語モデルの継続的事前学習を効率的に行うLLM-ADEフレームワークを提案し、従来手法に比べて優れた性能を実現する。
