小さな学習率のSGDにおけるモメンタムの限界的価値

小さな学習率のSGDにおいて、モメンタムはSGDと同等の性能しか提供しない。