이 논문은 확률적 볼록 최적화 문제에서 full-batch 경사 하강법의 샘플 복잡도를 분석한다. 주요 결과는 다음과 같다:
경사 하강법의 일반화 오차는 차원 𝑑와 샘플 크기 𝑚에 선형적으로 의존한다. 이는 최악의 경우 경험적 위험 최소화 알고리즘과 동일한 수준의 성능을 보인다는 것을 의미한다.
이 결과는 기존 연구에서 보여진 로그 차원 의존성보다 개선된 것이다. 또한 제곱근 차원 의존성을 보여준 이전 연구 결과를 더 강화한다.
차원이 샘플 크기보다 크고 반복 횟수가 제곱근 차원보다 작은 경우, 과적합을 피하기 위해서는 반복 횟수가 𝑂(1/ε4)일 필요가 있다는 것을 보였다. 이는 이전 연구에서 제기된 열린 문제를 해결한다.
To Another Language
from source content
arxiv.org
สอบถามเพิ่มเติม