Core Concepts
ニューラルタンジェント核は、非多項式活性化関数を持つ任意の深さのフィードフォワードニューラルネットワークに対して、厳密に正定値である。
Abstract
本論文では、ニューラルタンジェント核(NTK)の正定値性に関する新しい結果を示している。
まず、バイアス付きのフィードフォワードニューラルネットワークについて、任意の深さL≥2に対して、連続かつ非多項式の活性化関数σを持つ場合、NTKが厳密に正定値であることを示した。
次に、バイアスのないフィードフォワードニューラルネットワークについて、同様の条件の下で、訓練データが互いに非比例であれば、NTKが厳密に正定値であることを示した。
これらの結果は、ニューラルネットワークの学習動態と汎化性能に重要な影響を持つNTKの正定値性に関する従来の部分的な結果を大幅に一般化したものである。
証明の鍵となるのは、多項式関数の新しい特徴付けである。具体的には、ある条件の下で、連続関数が多項式であることを示した。この結果は数学的にも独立した価値を持つと考えられる。
Stats
ニューラルタンジェント核は、十分に広いニューラルネットワークの学習能力と汎化性能に直接関係する。
ニューラルタンジェント核が正定値であれば、勾配降下法によって訓練誤差を0まで減らすことができる。
Quotes
"ニューラルタンジェント核の正定値性は、機械学習において基本的な概念となっている。"
"本研究の目的は、ニューラルタンジェント核の正定値性に関する鋭い結果を得ることである。"