ニューラルネットワークの学習における特徴表現の獲得は、重み行列と事前活性化接線カーネル (PTK) 特徴量の共分散間のアラインメントとして理解できる。このアラインメントは、勾配降下法の構造的特性として生じるものであり、特に学習の初期段階で顕著に見られる。