Core Concepts
クラッタ問題における変分推論の文脈で、証拠下限(ELBO)勾配を解析的に近似する手法を提案する。
Abstract
本論文では、クラッタ問題における変分推論の文脈で、証拠下限(ELBO)勾配を解析的に近似する手法を提案している。
クラッタ問題とは、ガウス分布に埋め込まれた無関係なクラッタから観測データが生成される統計モデルを持つ、ベイズ推論の問題である。
提案手法は以下の特徴を持つ:
再パラメータリゼーションテクニックを用いて、勾配演算子を期待値の中に移動させる。
変分分布が尤度因子のガウス分布よりも一般的に小さくサポートされているという仮定に基づき、個々の尤度因子を局所的に指数二次関数で近似する。
この近似により、勾配期待値を定義する積分が解析的に解くことができる。
提案手法は、ラプラス近似、期待伝播、平均場変分推論といった従来の決定論的アプローチと比較して、良好な精度と収束率を示し、線形計算量を持つ。
また、提案手法を期待最大化(EM)アルゴリズムの期待ステップに統合し、変分分布のパラメータを最適化するための更新ルールを導出している。
Stats
観測データxiは一次元で、ガウス分布のパラメータはvg = 1
クラッタの確率wは0.5、クラッタ分布Pc(x)はN(x; 0, 10)
事前分布p(μ)はN(μ; 0, 100)
観測データ数nは20