제약 조건이 있는 전역 최적화를 위한 상호 작용 입자 합의 방법
본 논문은 비차별성 또는 비볼록성을 나타내는 손실 함수를 가진 최소화 문제를 해결하기 위한 입자 기반 최적화 방법을 제안합니다. 제안된 방법은 합의 기반 최적화 알고리즘의 구성 요소와 제약 집합을 향한 새로 도입된 강제 항을 결합합니다. 입자 시스템의 평균장 극한이 유도되고 평균장 극한이 제약 최소화기로 수렴하는 것이 입증됩니다. 또한 안정적인 이산화 알고리즘을 소개하고 제안된 방법의 성능을 보여주는 다양한 수치 실험을 수행합니다.
정확하지 않은 첫 번째 순서 방법을 이용한 이중 수준 최적화 및 하이퍼파라미터 학습에의 적용
이 논문에서는 정확하지 않은 함수 값과 정확하지 않은 하이퍼파라미터에 대한 기울기를 활용하는 이중 수준 최적화 문제를 해결하기 위한 적응형 정확하지 않은 첫 번째 순서 방법을 제안한다. 제안된 알고리즘은 정확도를 동적으로 결정하며, 백트래킹 라인 서치를 사용하여 정확하지 않은 함수 평가와 하이퍼그래디언트만을 활용한다.
비평활 계약 SA와 일정 스텝 크기 비평활 SA의 정상 상태 수렴
비평활 계약 SA와 Q-learning 알고리즘의 정상 상태 수렴을 약 수렴 거리로 보이고, 편향의 특성을 제시한다. 특히 비평활성으로 인해 편향이 제곱근 스텝 크기에 비례하는 것을 밝힌다.
빠른 보간 조건 하에서 확률적 가속 경사 하강법의 더 빠른 수렴
보간 조건 하에서 기존 분석보다 더 빠른 수렴 속도를 가지는 일반화된 확률적 Nesterov 가속 기법을 제안한다.
최적화 문제 해결을 위한 메트릭 학습을 통한 연산자 분할 방법의 수렴 가속화
최근 연구에서는 기계 학습을 활용하여 제약 최적화 문제의 해결을 가속화하는 다양한 방법이 제시되었다. 본 연구에서는 근접 연산자 분할 알고리즘의 수렴 속도를 최대화하기 위해 메트릭 공간을 학습하는 새로운 접근법을 제안한다. 이를 통해 일반적인 2차 프로그래밍 문제에서 기존 이론적 접근법보다 우수한 성능을 달성할 수 있음을 보여준다. 또한 학습된 근접 메트릭과 최적해의 활성 제약조건 간의 강한 상관관계를 발견하여, 메트릭 선택 문제를 활성 집합 예측 문제로 해석할 수 있음을 제시한다.
최적 탐색 전략을 통한 무제약 스칼라 최적화 문제에서의 후회 최소화
무제약 스칼라 최적화 문제에서 알려지지 않은 매개변수를 온라인 수집된 노이즈 데이터로부터 학습하는 과정에서, 탐색과 활용 간의 최적 균형을 달성하기 위한 최적 탐색 전략을 제시한다.
대규모 배치 학습에서 확률적 중력 방법의 가속화된 수렴
확률적 중력 방법은 대규모 배치 학습 환경에서 SGD 대비 ˜Θ(√κ) 가속화된 수렴 속도를 달성할 수 있다.
데이터 기반 신경망 모델을 활용한 효율적인 두 단계 강건 최적화 기법
본 연구는 기계 학습 기반 신경망 모델을 활용하여 두 단계 강건 최적화 문제를 효율적으로 해결하는 방법을 제안한다. 신경망 모델은 두 번째 단계 최적화 문제의 가치 함수를 추정하는 데 사용되며, 이를 통해 기존의 열거 및 제약 생성 알고리즘의 계산 복잡성을 크게 낮출 수 있다.
다중 충실도 베이지안 최적화를 통한 작업 간 전이 가능한 최대값 엔트로피 탐색
다양한 분야의 문제에서 비용이 많이 드는 검색 목적 함수를 최적화하기 위해, 본 논문은 현재 작업의 최적 값 정보와 미래 작업에 전이 가능한 정보를 균형있게 수집하는 새로운 정보 이론 기반 획득 함수를 제안한다.
스토캐스틱 경사 하강법의 마지막 반복 수렴에 대한 재검토
본 논문은 일반 도메인, 복합 목적 함수, 비유클리드 노름, Lipschitz 조건, 평활성, (강) 볼록성 등을 동시에 고려하여 스토캐스틱 경사 하강법의 마지막 반복 수렴 속도를 기대값과 고확률로 증명하는 통일된 방법을 제시한다.
