本論文では、標準的な確率的スパース符号化モデルに対して、エントロピーに基づく学習目的関数を導出した。
まず、ELBOがエントロピーの和に収束することを示した(定理1)。次に、ガウス分布を変分分布とした場合の最適なスケールパラメータと分散の解析的な解を導出した(定理2)。これらの結果を用いて、エントロピーベースのELBOを新たな学習目的関数として提案した(定理3)。
この新しい目的関数は完全に解析的であり、従来のELBOと同じ定常点を持つ。また、エントロピーアニーリングを適用することで、学習の高速化と符号化の疎性の制御が可能になる。
人工データと自然画像パッチを用いた実験では、提案手法の有効性を確認した。特に、事前エントロピーアニーリングを用いた場合に、高速な収束と局所化された生成フィールドが得られることを示した。
To Another Language
from source content
arxiv.org
Önemli Bilgiler Şuradan Elde Edildi
by Dmyt... : arxiv.org 04-11-2024
https://arxiv.org/pdf/2311.01888.pdfDaha Derin Sorular