深層学習モデルにおける可塑性の損失とニューラルコラプスの関係を分析し、両者の相関を明らかにする。ニューラルコラプスの正則化が可塑性の損失を軽減できることを示す。
可変パラメータレンズは、深層学習のさまざまな要素(モデル、最適化手法、損失関数、学習率など)を統一的に捉えることができる。これにより、深層学習アルゴリズムの一般化と比較分析が可能になる。
