核心概念
高次元連続関数を任意の精度で近似できる固定構造のニューラルネットワークを構築することができる。
要約
本論文では、高次元連続関数を任意の精度で近似できるニューラルネットワークの構築について研究している。
主な内容は以下の通り:
Kolmogorov Superposition Theoremの変形バージョンを用いることで、固定の366d + 365個の固有ニューロンを持つEUAFネットワークを構築し、任意の精度で高次元連続関数を近似できることを示した。これは先行研究の O(d^2) ニューロンよりも大幅に少ない。
少なくとも幅dのネットワークが必要な連続関数の族を提示した。これにより、高次元連続関数の近似に必要な固定ニューロン数がO(d)であることが最適であることを示した。従来の手法では、パラメータが入力次元dに対して指数関数的に増加する場合があるのに対し、本手法は入力次元に線形に依存するにすぎない。
統計
提案手法のニューロン数は366d + 365個で、先行研究の O(d^2) よりも大幅に少ない。
少なくとも幅dのネットワークが必要な連続関数の族が存在する。
引用
"高次元連続関数を任意の精度で近似できる固定構造のニューラルネットワークを構築することができる。"
"提案手法のニューロン数は366d + 365個で、先行研究の O(d^2) よりも大幅に少ない。"
"少なくとも幅dのネットワークが必要な連続関数の族が存在する。"