ソフトマックス関数の最適化と一般化の理論的分析 - ディフュージョンモデルへの応用を含む

ソフトマックス関数の正規化効果により、ニューラルタンジェントカーネルが良好な摂動特性を持ち、損失関数の凸領域が大きくなる。これにより、ソフトマックスニューラルネットワークはReLUやexp関数のニューラルネットワークと同程度の学習効率を持つ。