学習アルゴリズムの出力仮説と学習データの相互情報量を用いて、平均一般化誤差の上界を導出できる。相互情報量が訓練データサイズに対して線形でない場合、十分なデータがあれば訓練誤差と一般化誤差が任意に近づくことが保証される。
確率的再帰方程式を使用して、勾配降下法の重尾特性を分析する。
