過剰パラメータ化された環境における勾配降下法への雑音注入の特異極限解析

過剰パラメータ化された環境では、損失関数の零損失集合が大きくなり、この集合の近傍から初期化された場合、雑音付き勾配降下法は、この集合に沿って徐々に進化する。この進化の構造は、雑音の形式によって異なり、時間スケールにも影響する。