確率プログラムは、プログラムの実行中に分岐が発生する可能性のある確率的サポートを持つことができる。このようなプログラムは、固定サポートを持つ独立したサブプログラム(ストレートラインプログラム、SLP)の組み合わせとして考えることができる。全体の後見分布は、個々のSLPの後見分布の重み付き和として表すことができ、その重みは各SLPの局所的な正規化定数に対応する。
この分解は、確率プログラムの後見分布がSLPに対するベイズモデル平均(BMA)であることも明らかにする。つまり、現在のすべての確率プログラム推論エンジンは、プログラムに確率的サポートがある場合、暗黙的にBMAを推定している。
しかし、ベイズ統計学の文献では、BMAが個々のモデルの後見分布を組み合わせるメカニズムとして問題があることが広く認識されている。特に、モデル誤差の下でBMAは良好な予測性能を発揮しない傾向がある。この問題に対処するために、予測性能を最大化するためのSLP重みの最適化手法を提案する。具体的には、スタッキングと、PAC-ベイズ目的関数に基づく手法を示す。これらの手法は、既存の推論スキームの上に安価な後処理ステップとして実装できることを示す。実験では、BMAの重みに比べてより堅牢で、より良い予測性能を示すことを確認した。
To Another Language
from source content
arxiv.org
Principais Insights Extraídos De
by Tim Reichelt... às arxiv.org 04-15-2024
https://arxiv.org/pdf/2310.14888.pdfPerguntas Mais Profundas