ReLUネットワークの3つの量子化レジームー重要な近似限界の特定

ReLUニューラルネットワークによる1-Lipschitz関数の近似には、重み精度に応じて3つの量子化レジーム(過小量子化、適正量子化、過剰量子化)が存在する。適正量子化レジームでは、ニューラルネットワークは記憶最適性を示す。深いネットワークは浅いネットワークに比べ、記憶最適性を達成する際の本質的な優位性を持つ。