Core Concepts
確率的プログラミング言語(PPL)では、連続分布と離散構造を含む混合確率プログラムをうまくサポートできていない。本論文では、連続分布を離散化してから離散推論を行う新しい近似推論アルゴリズムを提案する。その鍵となるのが、ビットブラスティングと呼ばれる離散化手法で、バイナリ表現を用いることで、2^b個の離散点を poly(b)のブール変数で簡潔に表現できる。多くの一般的な連続分布がこのようにビットブラストできることを理論的に示し、効率的な確率推論を可能にする。
Abstract
本論文では、確率的プログラミング言語(PPL)における混合確率プログラムの推論問題に取り組んでいる。
- 混合確率プログラムは、連続分布と離散構造の両方を含むため、現在のPPLでは十分にサポートされていない。
- 提案するアプローチは、まず連続分布を離散化し、その後に離散推論を行うというものである。
- 離散化の鍵となるのが、ビットブラスティングと呼ばれる手法で、バイナリ表現を用いることで、2^b個の離散点を poly(b)のブール変数で簡潔に表現できる。
- 理論的に、多くの一般的な連続分布がこのようにビットブラストできることを示し、効率的な確率推論を可能にする。
- 提案手法を実装したPPLシステム「HyBit」を開発し、既存の手法と比較して優れた性能を示している。
Stats
離散変数の数が50個の場合でも、HyBitは最小の絶対誤差を達成できる。
HyBitは27ビットの精度で離散化を行い、70,000個のコイントスで表現できる。
一方、単純な離散化では589,000,000個の離散区間が必要となり、非効率的である。
Quotes
"混合確率プログラムは、連続分布と離散構造の両方を含むため、現在のPPLでは十分にサポートされていない。"
"ビットブラスティングは、バイナリ表現を用いることで、2^b個の離散点を poly(b)のブール変数で簡潔に表現できる。"
"多くの一般的な連続分布がこのようにビットブラストできることを理論的に示し、効率的な確率推論を可能にする。"