Alapfogalmak
심층 신경망은 국소적으로 L1(R)에 속하고 선형 함수가 아닌 활성화 함수를 가지는 경우, 어떤 데이터 세트라도 보간할 수 있다.
Kivonat
이 논문에서는 과대 매개변수화된 심층 신경망이 보편적인 근사화와 데이터 세트 보간을 제공할 수 있음을 입증한다.
주요 내용은 다음과 같다:
활성화 함수가 국소적으로 L1(R)에 속하고 선형 함수가 아닌 경우, 심층 신경망은 어떤 데이터 세트라도 보간할 수 있다. 이는 얕은 신경망에 대한 기존 결과를 일반화한 것이다.
활성화 함수가 부드러운 경우, 보간 가능한 매개변수 집합은 부드러운 부분 다양체를 형성한다. 또한 보간점에서의 손실 함수 헤시안에 대한 특성을 제공한다.
일반적인 활성화 함수 조건 하에서 이러한 보간점을 확률적으로 찾는 실용적인 방법을 제시한다.
심층 신경망이 연속 함수 공간에 밀집함을 보인다. 이는 활성화 함수가 선형 함수가 아닌 경우에 성립한다.
보간점에서의 손실 함수 헤시안의 고유값 스펙트럼을 특성화한다.
Statisztikák
심층 신경망은 데이터 세트의 크기 d보다 많은 매개변수를 가질 때 어떤 데이터 세트라도 보간할 수 있다.
Idézetek
"심층 신경망은 국소적으로 L1(R)에 속하고 선형 함수가 아닌 활성화 함수를 가지는 경우, 어떤 데이터 세트라도 보간할 수 있다."
"활성화 함수가 부드러운 경우, 보간 가능한 매개변수 집합은 부드러운 부분 다양체를 형성한다."