本論文では、RePUアクティベーション関数を持つ微分可能なニューラルネットワークの性質を調べた。
まず、RePUネットワークの偏微分は、混合RePUアクティベーションネットワークで表現できることを示した。また、RePUネットワークの偏微分関数クラスの複雑度の上界を導出した。
次に、Cs級滑らかな関数とその微分を同時に近似するためのRePUネットワークの近似誤差界を導出した。さらに、データや目的関数が低次元構造を持つ場合の近似誤差の改善も示した。
これらの結果を用いて、スコア推定と等単調回帰の問題に応用した。スコア推定では、RePUネットワークを用いた深層スコアマッチング推定量の非漸近的予測誤差界を導出した。また、等単調回帰では、ペナルティ付き深層等単調回帰を提案し、その過剰リスク界と最適収束率を示した。さらに、低次元構造下でのこれらの手法の次元呪いの緩和効果も明らかにした。
To Another Language
from source content
arxiv.org
ข้อมูลเชิงลึกที่สำคัญจาก
by Guohao Shen,... ที่ arxiv.org 04-23-2024
https://arxiv.org/pdf/2305.00608.pdfสอบถามเพิ่มเติม