本論文は、深層学習モデルにおける可塑性の損失(Plasticity Loss: PL)とニューラルコラプス(Neural Collapse: NC)の関係を分析している。
実験1では、Permuted MNISTデータセットを用いた継続学習の設定で、PLとNCの相関を調べた。結果、PLが発生すると、NCは起こらないことが分かった。これは、PLによりモデルが後続のタスクを学習できなくなるためである。
一方、初期タスクの学習エポック数を変化させた実験では、初期段階ではPLとNCに強い正の相関が見られたが、一定のNCが達成された後は相関が失われた。これは、学習時間が両者の根本的な要因となっている可能性を示唆している。
実験2では、CIFAR-10データセットを用いた事前学習(Warm Starting)の設定で同様の分析を行った。初期段階では強い正の相関が観察されたが、学習が進むにつれ相関が失われていった。さらに、NCの正則化を行うことで、事前学習後のタスク変更時の性能低下を抑制できることを示した。
以上の結果から、PLとNCには密接な関係があるものの、その関係は複雑で、学習の進行状況などの要因に大きく依存することが明らかになった。本研究は、両者の関係性の理解を深める上で重要な知見を提供している。
To Another Language
from source content
arxiv.org
Глибші Запити