本論文は、生物学的ニューラルネットワーク(BNN)における学習メカニズムを分析したものである。
まず、先行研究で提案された Schmidt-Hieber モデルを概説する。このモデルでは、各学習機会とそれぞれの接続に対して1つのスパイクが発生し、それに基づいて1回のパラメータ更新が行われる。この更新は平均的にはグラジエントディセントに相当するが、ノイズが大きすぎるため効率的な学習には繋がらない。
そこで本論文では、各学習機会に大量のスパイクが発生し、多数の更新ステップが行われるモデルを考える。この場合、更新ステップの集積が連続的なグラジエントディセントに近似できることを示す。つまり、BNNにおいてもランダムグラジエントディセントのようなメカニズムが機能している可能性があるが、グラジエントを明示的に計算する必要はない。
具体的には、各学習機会に対して n 回の更新ステップを行う場合を考え、n→∞のとき、更新プロセスが決定論的なグラジエントプロセスに収束することを証明する。この結果は、BNNの学習が生物学的に妥当な方法で最適化されている可能性を示唆している。
To Another Language
from source content
arxiv.org
Deeper Inquiries