トランスフォーマーにおける過度の忘却を軽減するための知的な学習率分布

異なるタスクを順次学習する際に発生する過度の忘却を軽減するために、トランスフォーマーネットワークの各層に適応的な学習率を割り当てる手法を提案する。