広幅ニューラルネットワークの「怠惰な」(NTK)と「豊かな」(μP)な学習モードに関する解説

広幅ニューラルネットワークの学習には、「怠惰な」カーネル機械学習モードと「豊かな」特徴学習モードの2つのモードがあり、それらを制御するためのハイパーパラメータが1つだけ存在する。