SGDにおけるカタパルト：訓練損失の急上昇と特徴学習への影響

訓練損失のスパイクは、カタパルトダイナミクスによって引き起こされ、一般化性能を向上させる。