本論文では、標準的な確率的スパース符号化モデルに対して、エントロピーに基づく学習目的関数を導出した。
まず、ELBOがエントロピーの和に収束することを示した(定理1)。次に、ガウス分布を変分分布とした場合の最適なスケールパラメータと分散の解析的な解を導出した(定理2)。これらの結果を用いて、エントロピーベースのELBOを新たな学習目的関数として提案した(定理3)。
この新しい目的関数は完全に解析的であり、従来のELBOと同じ定常点を持つ。また、エントロピーアニーリングを適用することで、学習の高速化と符号化の疎性の制御が可能になる。
人工データと自然画像パッチを用いた実験では、提案手法の有効性を確認した。特に、事前エントロピーアニーリングを用いた場合に、高速な収束と局所化された生成フィールドが得られることを示した。
A otro idioma
del contenido fuente
arxiv.org
Consultas más profundas