大規模言語モデルのプリトレーニングにおける下流タスク分析を通じた最適化

大規模言語モデルのプリトレーニングにおいて、下流タスクのパフォーマンス分析は重要な指標となる。本研究では、様々な大規模言語モデルの中間チェックポイントを分析し、タスク間の動的な関係性や、モデルサイズ、アーキテクチャ、トレーニング手法の影響を明らかにする。