Core Concepts
KLベースのPAC-ベイズ境界は最適ではなく、より良い分散を使うことで改善できることを示す。
Abstract
本論文では、従来のKLベースのPAC-ベイズ境界が最適ではないことを示す。具体的には、KLベースの境界よりも厳しい境界を得るために、新しい分散指標であるZCP分散を提案する。
まず、ZCP分散がKL分散よりも厳しい上界を持つことを示す。これにより、ZCP分散を用いたPAC-ベイズ境界がKLベースの境界を改善できることがわかる。
次に、最適な賭け戦略の対数富裕度を用いて、より一般的な濃縮不等式を導出する。この手法は、既存のPAC-ベイズ不等式を統一的に導出できる。特に、経験的ベルヌーイ不等式やリトルKLなどの高速収束率の境界を導出できる。
最後に、具体的な離散分布や混合正規分布の例を示し、ZCP分散がKL分散に比べて大幅に改善できることを示す。
以上より、本論文は、PAC-ベイズ境界の最適性に関する重要な知見を与えるものと考えられる。
Stats
任意の分布P、Q、パラメータcに対して、DZCP(P, Q; c) ≤ 2√2 √DTV(P, Q) √DKL(P, Q) + √2 ln(1 + c) DTV(P, Q)が成り立つ。
離散分布の例では、DKL(P, Q) = Θ(d^(u/2))に対し、DZCP(P, Q) = Θ(d^(-u/4))となり、ZCP分散の方がKL分散に比べて大幅に小さい。
混合正規分布の例では、DKL(P, Q) ≥ 1/(2√p) - 1.22に対し、√DKL(P, Q) √DTV(P, Q) ≤ 1/2となり、ZCP分散ベースの境界がKLベースの境界を改善できる。