비선형 신경망에서 경사 하강법의 구조적 특성으로서의 특징 학습: 가중치 행렬과 사전 활성화 접선 특징 간의 정렬

본 논문은 심층 신경망의 특징 학습 메커니즘을 탐구하며, 특히 훈련 과정에서 가중치 행렬과 사전 활성화 접선 커널(PTK) 특징 사이의 정렬이 특징 학습의 핵심 동력임을 제시합니다. 저자들은 중심화된 신경망 특징 상관관계(C-NFC)라는 새로운 개념을 도입하여 이러한 정렬을 정량화하고, 이를 통해 신경망 특징 가설(NFA)을 설명합니다. 또한, 초기 학습 단계에서 C-NFC의 높은 값이 가중치 행렬과 PTK 특징 간의 정렬을 주도하고, 이는 결국 NFA를 만족하는 특징 학습으로 이어짐을 보여줍니다.