Concepts de base
本文提出了一種推廣的隨機平滑化框架,用於對不可微分的黑盒函數進行微分和梯度估計,並探討了多種降低梯度估計方差的策略,並在多個機器學習任務中驗證了其有效性。
本研究旨在解決隨機可微分鬆弛演算法、運算符、模擬器和其他不可微分函數的梯度估計問題。
本文從基本原理出發,推導出具有更少假設的隨機平滑化方法,無需可微分密度函數或全域支撐。
提出一種用於不可微分黑盒函數 f : Rn →Rm 的鬆弛和梯度估計的通用框架。
從三個正交的角度(協變量、反向樣本和(隨機化)擬蒙特卡羅)開發了梯度估計的方差減少技術。