이 논문은 확률적 볼록 최적화 문제에서 full-batch 경사 하강법의 샘플 복잡도를 분석한다. 주요 결과는 다음과 같다:
경사 하강법의 일반화 오차는 차원 𝑑와 샘플 크기 𝑚에 선형적으로 의존한다. 이는 최악의 경우 경험적 위험 최소화 알고리즘과 동일한 수준의 성능을 보인다는 것을 의미한다.
이 결과는 기존 연구에서 보여진 로그 차원 의존성보다 개선된 것이다. 또한 제곱근 차원 의존성을 보여준 이전 연구 결과를 더 강화한다.
차원이 샘플 크기보다 크고 반복 횟수가 제곱근 차원보다 작은 경우, 과적합을 피하기 위해서는 반복 횟수가 𝑂(1/ε4)일 필요가 있다는 것을 보였다. 이는 이전 연구에서 제기된 열린 문제를 해결한다.
To Another Language
from source content
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Roi Livni lúc arxiv.org 04-09-2024
https://arxiv.org/pdf/2404.04931.pdfYêu cầu sâu hơn