Sign In
insight - 신경망 이론
신경망의 유한 매개변수에 대한 수치 근사 능력: 한계가 존재하는가, 그리고 어떻게 측정할 수 있는가?
신경망은 유한한 매개변수 공간에서도 이론적으로 무한한 근사 능력을 가지지만, 실제 수치 시나리오에서는 해석적 활성화 함수를 가진 심층 신경망이 유한 차원 벡터 공간으로만 근사될 수 있다. 이를 바탕으로 ε 외부 측도와 수치 스팬 차원(NSdim)을 도입하여 신경망의 근사 능력 한계를 이론적, 실용적으로 정량화할 수 있다.
ReLU 신경망 함수의 국소적 및 전역적 위상 복잡도 측정
ReLU 신경망 함수의 국소적 및 전역적 위상 복잡도를 정의하고 연구하기 위해 일반화된 분할선형(PL) 버전의 모스 이론을 적용한다.
신경망의 순환 및 비순환 모델 간 관계에 대한 새로운 관점: 희소성에 기반한 연구
신경망 모델은 반복적 사상(iterative map)으로 표현될 수 있으며, 이를 통해 순환 신경망(RNN)과 다층 퍼셉트론(MLP) 등 다양한 신경망 모델 간의 밀접한 관계를 밝힐 수 있다.
변압기 신경망의 토포스
변압기 신경망은 토포스 완성에 속하며, 이는 다른 신경망 아키텍처와 구별되는 특성을 나타낸다.
신경망의 이론적 기반: 대류-확산 방정식
신경망은 간단한 기저 모델에서 복잡한 함수로의 매핑으로 표현될 수 있으며, 이는 대류-확산 방정식으로 정식화될 수 있다. 이러한 이론적 틀은 신경망에 대한 수학적 기반을 제공하고 더 깊은 이해를 가능하게 한다.
신경망의 일반화 성능을 위한 Koopman 기반 일반화 경계
신경망의 일반화 성능을 Koopman 연산자를 사용하여 분석하였다. 전체 계수 행렬이 높은 순위를 가지는 경우에도 일반화가 잘 되는 이유를 설명하고, 직교 행렬을 가지는 신경망의 일반화 성능을 정당화하였다.
스파이킹 신경망의 표현력
스파이킹 신경망은 인공 신경망과 동등한 표현력을 가지며, 일부 연속적이지 않은 함수를 더 효율적으로 표현할 수 있다.