本論文は、ベイズ型ニューラルネットワーク(BNN)の課題である事前分布の定義と計算効率の向上に取り組んでいる。
具体的には以下の3点が主な貢献である:
低次元の潜在変数を高次元の重みに変換する決定論的な関数を用いて、柔軟な事前分布を定義する手法を提案した。これにより、複雑なデータ構造を効果的にモデル化できる。
変分推論とグラジエントアセントアルゴリズムを組み合わせることで、事前分布のハイパーパラメータの推定と事後分布の近似を同時に行うことができる。これにより、計算効率が向上する。
理論的には、提案手法の事後分布の一致性と分類精度について分析し、数値的にも様々なタスクで既存手法を上回る性能を示した。
具体的な手順は以下の通り:
低次元の潜在変数zに基づいて高次元の重みwを生成する決定論的な変換関数Gηを定義する。これにより、複雑な事前分布を柔軟にモデル化できる。
変分推論とグラジエントアセントアルゴリズムを組み合わせて、事前分布のハイパーパラメータηと事後分布の近似qαを同時に推定する。
理論的には、提案手法の事後分布の一致性と分類精度について分析し、保証を示した。
数値実験では、2つ渦巻き問題、回帰タスク、UCI データセット、MNIST、CIFAR-10などで、既存手法を上回る性能を示した。
To Another Language
from source content
arxiv.org
Viktige innsikter hentet fra
by Yijia Liu,Xi... klokken arxiv.org 04-30-2024
https://arxiv.org/pdf/2404.18008.pdfDypere Spørsmål