경사 하강법을 사용한 신경망 분류기 학습에 대한 더욱 명확한 보증: 초기화의 역할과 샘플 복잡도 분석

본 논문에서는 매끄러운 활성화 함수를 사용하는 심층 신경망을 경사 하강법으로 학습할 때, 초기화가 샘플 복잡도와 일반화 성능에 미치는 영향을 분석하고, 기존 연구보다 개선된 알고리즘 종속적 일반화 오차 상한을 제시합니다. 특히, XOR 분포 학습 문제에서 큰 스텝 크기를 사용하는 미니 배치 확률적 경사 하강법이 기존 커널 방법론보다 우수한 샘플 및 계산 복잡도를 달성할 수 있음을 보여줍니다.