Core Concepts
大次元における核補間の分散と偏差の正確な収束率を特徴付け、最小最大最適性、劣最適性、非一致性の領域を明らかにした。
Abstract
本論文は、大次元における核補間の一般化能力を完全に特徴付けた。具体的には以下の点を明らかにした:
分散項の正確な収束率を示した。次元 d と標本サイズ n の関係が n ≍ dγ (γ > 0) の場合、分散項は ΘP(dl−γ + dγ−l−1) の順で収束する。ここで l = ⌊γ⌋。
偏差項の正確な収束率を示した。真の関数 f* が補間空間 [H]s に属する場合(s ≥ 0)、偏差項は以下のように収束する:
0 ≤ s ≤ 2γ - 2l の場合、偏差項は ΘP(d−(l+1)s) の順で収束
s > 2γ - 2l の場合、偏差項は ΘP(d(2−˜s)l−2γ) の順で収束。ここで ˜s = min{s, 2}。
上記の分散と偏差の収束率から、(s, γ)平面上で核補間が最小最大最適、劣最適、非一致となる領域を特徴付けた。具体的には、
s > Γ(γ) の場合、核補間は劣最適
0 < s ≤ Γ(γ) の場合、核補間は最小最大最適
s = 0 または γ ∈ N+ の場合、核補間は非一致
ここで Γ(γ) は γ に依存する閾値関数である。
本研究は、大次元における核補間の一般化能力を完全に特徴付けた初めての結果であり、ニューラルネットワークの「良性過剰適合現象」の理論的理解に貢献すると期待される。
Stats
次元 d と標本サイズ n の関係は n ≍ dγ (γ > 0)である。
真の関数 f*は補間空間 [H]s に属し、[H]s ノルムは Rγ 以下である。
真の関数 f*の低次元成分と高次元成分のノルムは一定以上の下限を持つ。
Quotes
大次元における核補間の一般化能力は、ニューラルネットワークの「良性過剰適合現象」の理論的理解に重要である。
本研究は、大次元における核補間の一般化能力を完全に特徴付けた初めての結果である。