מושגי ליבה
本研究では、深層ニューラルネットワーク(DNN)モデルを入力と教師信号だけでなく、対応する教師信号の微分にも基づいて学習する逆向き微分深層学習アルゴリズムを提案する。これにより、解の値とその勾配、ヘッシアン行列の高精度な近似が可能となる。
תקציר
本研究では、高次元非線形逆向確率微分方程式(BSDE)を解くための新しい逆向き微分深層学習アルゴリズムを提案している。
まず、BSDEをマリアヴィン微分を用いて微分深層学習問題として定式化する。これにより、BSDEの解とその勾配、ヘッシアン行列を表す3つのプロセス(Y, Z, Γ)の推定が必要となる。
次に、これらの未知プロセスをDNNで近似し、各時間ステップで逆向きに最適化する。損失関数は、離散化されたBSDE系の動力学の重み付き和として定義される。第1項がプロセスYの動力学を、第2項がプロセスZの動力学を提供する。
理論的および数値的に、提案手法は他の深層学習ベースの手法と比較して、特にプロセスΓの近似において、より効率的であることが示される。
סטטיסטיקה
X_t = x_0 + \int_0^t a(s, X_s) ds + \int_0^t b(s, X_s) dW_s
Y_t = g(X_T) + \int_t^T f(s, X_s, Y_s, Z_s) ds - \int_t^T Z_s dW_s
D_s X_t = 1_{s \le t} \left( b(s, X_s) + \int_s^t \nabla_x a(r, X_r) D_s X_r dr + \int_s^t \nabla_x b(r, X_r) D_s X_r dW_r \right)
D_s Y_t = 1_{s \le t} \left( \nabla_x g(X_T) D_s X_T + \int_t^T f_D(r, X_r, D_s X_r) dr - \int_t^T D_s Z_r dW_r \right)
ציטוטים
"本研究では、深層ニューラルネットワーク(DNN)モデルを入力と教師信号だけでなく、対応する教師信号の微分にも基づいて学習する逆向き微分深層学習アルゴリズムを提案する。"
"これにより、解の値とその勾配、ヘッシアン行列の高精度な近似が可能となる。"