Concepts de base
本文提出將非線性拋物型偏微分方程式推廣到神經網路領域,並論證其作為人工智慧基礎方程式的潛力,可以解釋深度神經網路的物理意義,並為類比計算設備設計和物理人工智慧發展鋪路。
Résumé
基於偏微分方程的神經網路架構生成
這篇研究論文提出了一個新的理論框架,將偏微分方程式 (PDE) 運用於神經網路架構的生成,並探討其在物理人工智慧系統中的應用。
本文旨在探討偏微分方程式在神經網路架構生成中的作用,並提出一個基於物理學的深度學習理論框架。
作者將統計物理學中的反應擴散方程式、量子力學中的薛丁格方程式以及近軸光學中的亥姆霍茲方程式推廣到神經網路偏微分方程式 (NPDE)。
採用有限差分法將 NPDE 離散化,從而生成多層感知器、卷積神經網路和遞迴神經網路等深度神經網路架構的基本組成部分。
探討了適用於 NPDE 的學習策略,包括自適應動量估計、L-BFGS、偽逆學習演算法和偏微分方程式約束優化等。