지수 수렴에서 유한/고정 시간 안정성으로: 최적화 응용
지수 안정 최적화 알고리즘을 간단한 스케일링을 통해 유한/고정 시간 안정 알고리즘으로 변환할 수 있다.
거짓 정상성과 미러 하강법의 어려움에 대한 결과
기존의 정상성 측정 방법은 거짓 정상점의 존재를 필연적으로 암시하며, 이러한 거짓 정상점에서 벗어나기 위해서는 유한 단계 내에서 불가능하다는 것을 보여준다.
RMSProp과 그 모멘텀 확장의 ℓ1 노름으로 측정된 O( √ d/T^{1/4}) 수렴률
RMSProp과 그 모멘텀 확장의 ℓ1 노름으로 측정된 수렴률이 O( √ d/T^{1/4})임을 보였다.
비볼록 최적화를 위한 3차 모델 부공간 최소화를 통한 정규화된 방법
적응형 3차 정규화 방법에서 시행 단계의 효율적인 계산을 위해 저차원 부공간에서 3차 모델을 최소화하는 새로운 접근법을 제안한다. 이 접근법은 가능한 한 오랫동안 동일한 부공간을 재사용하며, 부공간 최소화 과정에서 얻은 정규화 매개변수를 사용하여 정규화된 Newton 단계를 수행한다. 이를 통해 기존 3차 정규화 방법의 최악 경우 복잡도를 유지하면서도 계산 비용을 크게 줄일 수 있다.
최적의 여행 판매원 문제 해결을 위한 비지도 학습
본 연구에서는 여행 판매원 문제(TSP)를 해결하기 위한 비지도 학습 프레임워크인 UTSP를 제안한다. 그래프 신경망 네트워크(GNN)를 사용하여 최적 경로의 가능성을 나타내는 히트맵을 생성하고, 이를 기반으로 지역 탐색 알고리즘을 수행한다. 제안된 방법은 기존 강화 학습 및 지도 학습 기반 방법에 비해 적은 수의 매개변수와 훈련 데이터로도 우수한 성능을 보인다.
향상된 엘리트 상속 및 균형 탐색 메커니즘을 가진 개선된 회색늑대 최적화기
본 논문은 회색늑대 최적화기(GWO)의 두 가지 주요 설계 결함을 해결하기 위해 엘리트 상속 메커니즘과 균형 탐색 메커니즘을 도입한 향상된 회색늑대 최적화기(EBGWO)를 제안한다. 이를 통해 위치 갱신 과정의 효과성을 높이고 수렴 솔루션의 품질을 향상시킨다.
강한 볼록성의 모듈러스 지식 없이도 선형 수렴하는 전방-후방 가속 알고리즘
NAG와 FISTA 알고리즘은 강한 볼록 함수에 대해 선형 수렴을 달성하며, 이는 강한 볼록성의 모듈러스에 대한 사전 지식 없이도 가능하다.
언어 모델링 과제에서 AdamW의 내재적 편향
AdamW는 매개변수의 ℓ∞ 노름이 제한된 최적화 문제의 KKT 점으로 수렴한다.
3-FLIP 알고리즘의 지수 시간 복잡도 평활화 분석
3-FLIP 알고리즘의 평활화 복잡도가 지수 시간일 수 있음을 보여줌
비볼록 환경에서 고정 스텝 크기를 사용한 Adam의 수렴성에 대한 이론적 및 경험적 연구
본 연구는 비볼록 환경에서 Adam 최적화 알고리즘의 수렴성을 보장하는 고정 스텝 크기를 제안하고, 이를 이론적으로 분석하며 실험적으로 검증한다.
