Concepts de base
고차 텐서 방법은 적응형 정규화 프레임워크 내에서 테일러 기반 지역 모델(차수 p ≥3)을 사용하여 볼록 및 비볼록 최적화 문제에 대해 우수하고 최적의 전역 수렴률과 지역 수렴률을 달성할 수 있다. 그러나 테일러 다항식 하위 문제를 효율적으로 최소화하는 엄격하고 효율적인 기술을 찾는 것이 이러한 알고리즘에 대한 주요 과제로 남아 있다. 이 논문은 제곱합(SoS) 재구성을 기반으로 한 텐서 방법을 결합하여 비볼록 문제에 대한 전역 수렴성과 복잡성 분석을 제공한다.
Résumé
이 논문은 제곱합(SoS) 테일러 모델과 적응형 정규화 기술을 결합한 알고리즘 프레임워크를 소개한다.
볼록, 비볼록, 거의 강볼록 상황에 따라 SoS 테일러 모델을 구성한다. 이 모델은 p차 테일러 전개, 2차 섭동 항(국소 비볼록 경우) 및 정규화 항으로 구성된다.
각 반복에서 SoS 테일러 모델을 최소화하여 다항식 비용으로 수행할 수 있다.
일반 비볼록 함수의 경우 최악의 경우 평가 복잡도 한계는 O(ϵ^-2)이며, 강볼록 함수의 경우 O(ϵ^(-1/p))의 향상된 평가 복잡도 한계를 확립했다.
이는 비볼록 부드러운 최적화에서 추적 가능한 고차 하위 문제를 가진 적응형 정규화 알고리즘에 대한 최초의 전역 속도 분석이며, 향후 개선을 위한 길을 열어 놓았다.
Stats
일반 비볼록 함수의 경우 최악의 경우 평가 복잡도 한계는 O(ϵ^-2)이다.
강볼록 함수의 경우 향상된 평가 복잡도 한계는 O(ϵ^(-1/p))이다.
Citations
"고차 텐서 방법은 적응형 정규화 프레임워크 내에서 테일러 기반 지역 모델(차수 p ≥3)을 사용하여 볼록 및 비볼록 최적화 문제에 대해 우수하고 최적의 전역 수렴률과 지역 수렴률을 달성할 수 있다."
"그러나 테일러 다항식 하위 문제를 효율적으로 최소화하는 엄격하고 효율적인 기술을 찾는 것이 이러한 알고리즘에 대한 주요 과제로 남아 있다."