핵심 개념
새로운 지향성 부드러움 함수를 활용한 경사 하강법의 부적합성 한계를 개발합니다.
초록
경사 하강법의 새로운 부적합성 한계를 소개합니다.
지향성 부드러움 함수를 사용하여 지역적인 기하학적 특성에 의존하는 결과를 제시합니다.
다양한 함수에 대한 새로운 보증을 증명하고, 경사 하강법의 수렴 속도를 개선합니다.
이론적 결과를 실험적으로 검증하여 경사 하강법의 성능을 비교합니다.
Introduction
경사 하강법은 L-smooth 함수에 대해 분석됩니다.
GD는 L-smooth가 아닌 경우에도 목적 함수를 줄일 수 있음을 경험적으로 보여줍니다.
Directional Smoothness
지향성 부드러움 함수를 소개하고, 두 가지 관련 함수를 설명합니다.
지역적인 부드러움을 사용하여 새로운 부적합성 한계를 증명합니다.
Path-Dependent Sub-Optimality Bounds
지역 기하학적 특성에 의존하는 새로운 부적합성 한계를 증명합니다.
강한 볼록성을 고려한 새로운 부적합성 한계를 제시합니다.
Adaptive Learning Rates
적응형 학습률을 찾는 방법에 대한 이론적 결과를 제시합니다.
지향성 부드러움에 적응하는 다양한 학습률 규칙을 비교합니다.
통계
경사 하강법은 L-Lipschitz 연속인 경우에 분석됩니다.
경사 하강법은 L-smooth가 아닌 경우에도 목적 함수를 줄일 수 있음을 경험적으로 보여줍니다.
인용구
"새로운 지향성 부드러움 함수를 활용한 경사 하강법의 부적합성 한계를 개발합니다." - Aaron Mishkin