本論文では、深層学習システムの可塑性の喪失を直接的に検証した。ImageNetデータセットを用いた継続学習の実験では、深層学習のパフォーマンスが大幅に低下し、線形ネットワークレベルまで落ち込むことが示された。この現象は、さまざまなネットワーク構造、最適化手法、活性化関数、バッチノーマライゼーション、ドロップアウトなどの手法を用いても改善されないことが確認された。
一方で、L2正則化やShrink and Perturbなどの手法は可塑性の喪失を大幅に緩和することが分かった。これらの手法は、ネットワークの重みの増大、死んだユニットの増加、表現の有効ランクの低下といった可塑性の喪失に関連する要因を抑制することで効果を発揮する。
さらに、著者らは新しいアルゴリズム「Continual Backpropagation」を提案した。これは従来の逆伝播法を拡張したもので、各ステップで使用頻度の低いユニットを再初期化することで、可塑性を持続的に維持できることが示された。
翻譯成其他語言
從原文內容
arxiv.org
深入探究