신경망은 유한한 매개변수 공간에서도 이론적으로 무한한 근사 능력을 가지지만, 실제 수치 시나리오에서는 해석적 활성화 함수를 가진 심층 신경망이 유한 차원 벡터 공간으로만 근사될 수 있다. 이를 바탕으로 ε 외부 측도와 수치 스팬 차원(NSdim)을 도입하여 신경망의 근사 능력 한계를 이론적, 실용적으로 정량화할 수 있다.
ReLU 신경망 함수의 국소적 및 전역적 위상 복잡도를 정의하고 연구하기 위해 일반화된 분할선형(PL) 버전의 모스 이론을 적용한다.
신경망 모델은 반복적 사상(iterative map)으로 표현될 수 있으며, 이를 통해 순환 신경망(RNN)과 다층 퍼셉트론(MLP) 등 다양한 신경망 모델 간의 밀접한 관계를 밝힐 수 있다.
변압기 신경망은 토포스 완성에 속하며, 이는 다른 신경망 아키텍처와 구별되는 특성을 나타낸다.
신경망은 간단한 기저 모델에서 복잡한 함수로의 매핑으로 표현될 수 있으며, 이는 대류-확산 방정식으로 정식화될 수 있다. 이러한 이론적 틀은 신경망에 대한 수학적 기반을 제공하고 더 깊은 이해를 가능하게 한다.
스파이킹 신경망은 인공 신경망과 동등한 표현력을 가지며, 일부 연속적이지 않은 함수를 더 효율적으로 표현할 수 있다.