本論文では、ニューラルネットワークの確率的推論に用いられる確率的勾配リーマン・ランジュバン動力学(SGRLD)について、計算効率を維持しつつ、ポスターリア分布の探索性能を向上させる2つの新しい非対角メトリックを提案している。
まず、モンジュメトリックは、微分幾何学的な正当性を持ち、効率的な逆行列計算が可能である。一方、シャンプーメトリックは、層ごとの行列の効率的な更新を利用することで、計算コストを抑えつつ、ポスターリア分布の探索性能を向上させる。
実験では、全結合ニューラルネットワークやConvolutionalニューラルネットワークなどの問題設定において、提案手法が既存手法に比べて優れた性能を示すことを確認した。特に、重い裾野を持つ事前分布を用いた場合や、ポスターリア分布の曲率が高い場合に、提案手法の有効性が顕著に現れることが分かった。
一方で、モンジュメトリックのパラメータ選択の難しさや、シャンプーメトリックの計算コストの増加など、課題も残されている。今後の研究により、さらに効率的で堅牢な非対角メトリックの構築が期待される。
לשפה אחרת
מתוכן המקור
arxiv.org
תובנות מפתח מזוקקות מ:
by Hanlin Yu,Ma... ב- arxiv.org 04-02-2024
https://arxiv.org/pdf/2303.05101.pdfשאלות מעמיקות