Konsep Inti
ReLU 신경망 함수의 국소적 및 전역적 위상 복잡도를 정의하고 연구하기 위해 일반화된 분할선형(PL) 버전의 모스 이론을 적용한다.
Abstrak
이 논문은 ReLU 신경망 함수 F: Rn → R의 국소적 및 전역적 위상 복잡도를 정의하고 연구하는 것을 목표로 한다.
먼저, 각 ReLU 신경망 함수 F에 대해 정준 다면체 복합체 K(F)를 구축하고 Rn → K(F)로의 변형 수축을 제공하여 계산을 수행하는 데 편리한 압축 모델을 제시한다.
또한 국소 복잡도가 임의로 높을 수 있다는 것을 보여주는 구축을 제공한다.
논문의 주요 내용은 다음과 같다:
- PL 모스 이론과 평탄 셀 vs 임계 셀
- PL 모스 함수의 정의와 ReLU 신경망 함수가 PL 모스가 아닐 확률에 대한 분석
- 국소 및 전역 H-복잡도
- 레벨 셋과 부등고선 집합의 호몰로지를 사용하여 복잡도를 정의
- 전이 구간 내에서 유한 PL 맵의 부등고선 집합은 호모토피 동등
- 정준 다면체 복합체 K(F)의 구축과 |C(F)| → |K(F)|로의 변형 수축을 통해 증명
- 국소 H-복잡도는 임의로 높을 수 있음
Statistik
ReLU 신경망 함수 F: Rn → R의 경우, 평탄 셀의 이미지가 [-M, M] 구간에 포함되면 a < -M인 모든 a에 대해 F≤a의 호몰로지와 a > M인 모든 a에 대해 F≥a의 호몰로지가 동일하다.
Kutipan
"ReLU 신경망 함수 F: Rn → R의 경우, 평탄 셀의 이미지가 [-M, M] 구간에 포함되면 a < -M인 모든 a에 대해 F≤a의 호몰로지와 a > M인 모든 a에 대해 F≥a의 호몰로지가 동일하다."
"ReLU 신경망 함수 F: Rn → R의 경우, 평탄 셀의 이미지가 [-M, M] 구간에 포함되면 a < -M인 모든 a에 대해 F≤a의 호몰로지와 a > M인 모든 a에 대해 F≥a의 호몰로지가 동일하다."