핵심 개념
매개변수 없는 확률적 최적화 알고리즘은 최적으로 조정된 방법과 경쟁력 있는 수렴 속도를 달성할 수 있지만, 문제 매개변수에 대한 상당한 지식이 필요하다. 이 논문은 매개변수 없는 최적화 알고리즘이 가능한 조건을 탐구한다.
초록
이 논문은 매개변수 없는 확률적 최적화 문제를 연구한다. 기존의 매개변수 없는 방법들은 여전히 문제 매개변수에 대한 일부 비자명한 지식을 요구한다. 이 논문은 매개변수 없는 최적화 알고리즘이 가능한 시나리오와 조건을 탐구한다.
비볼록 최적화 설정에서, 저자들은 단순한 하이퍼파라미터 검색 기술이 더 복잡한 최신 적응형 알고리즘보다 우수한 성능을 보인다는 것을 보여준다.
볼록 최적화 설정에서, 저자들은 함수 값 쿼리에 접근할 수 있는 경우 매개변수 없는 알고리즘을 제안한다. 이 알고리즘은 최적으로 조정된 SGD와 동일한 수렴 속도를 달성한다.
마지막으로, 저자들은 오직 확률적 경사만 접근할 수 있는 경우 완전한 매개변수 없는 볼록 최적화가 불가능함을 보여준다. 이에 대한 대안으로 부분적으로 매개변수 없는 알고리즘을 제안한다.
통계
최적화 문제의 매개변수 범위 내에서 최적으로 조정된 SGD의 수렴 속도는 O(1/√T)이다.
매개변수 없는 알고리즘의 수렴 속도는 최적 SGD 수렴 속도와 poly-log 인자 차이로 동일하다.
확률적 경사만 접근할 수 있는 경우, 매개변수 없는 알고리즘의 수렴 속도는 최적 SGD 수렴 속도에 σmax/T 추가 항이 포함된다.
인용구
"매개변수 없는 방법들은 여전히 문제 매개변수에 대한 일부 비자명한 지식을 요구한다."
"오직 확률적 경사만 접근할 수 있는 경우 완전한 매개변수 없는 볼록 최적화가 불가능함을 보여준다."
"매개변수 없는 알고리즘의 수렴 속도는 최적 SGD 수렴 속도와 poly-log 인자 차이로 동일하다."