이 논문은 신경망의 수치 근사 능력에 대한 한계를 이론적, 실용적으로 분석한다.
먼저 수치 오차를 고려한 새로운 ε 외부 측도를 도입하여 함수 공간에서의 측도 개념을 정의한다. 이를 통해 유한한 매개변수 공간에서 신경망의 근사 능력 한계를 수학적으로 분석할 수 있다.
이후 무한 폭 신경망에서 역전파 신경망과 무작위 매개변수 신경망(ELM 등)이 서로 근사할 수 있음을 보이고, 이를 바탕으로 유한한 매개변수 공간에서 신경망의 근사 능력이 유한 차원으로 제한됨을 증명한다.
이를 바탕으로 수치 스팬 차원(NSdim)이라는 개념을 도입하여 신경망의 근사 능력 한계를 실용적으로 측정하는 방법을 제시한다. 수치 예제를 통해 신경망의 폭, 깊이, 매개변수 공간 크기가 NSdim에 미치는 영향을 분석한다.
마지막으로 유한 폭 상황에서 역전파 신경망과 무작위 매개변수 신경망의 관계와 장단점을 탐구한다.
לשפה אחרת
מתוכן המקור
arxiv.org
תובנות מפתח מזוקקות מ:
by Li Liu, Teng... ב- arxiv.org 09-26-2024
https://arxiv.org/pdf/2409.16697.pdfשאלות מעמיקות