学習アルゴリズムの一般化能力に関する情報理論とPAC-Beysesの視点

学習アルゴリズムの出力仮説と学習データの相互情報量を用いて、平均一般化誤差の上界を導出できる。相互情報量が訓練データサイズに対して線形でない場合、十分なデータがあれば訓練誤差と一般化誤差が任意に近づくことが保証される。