비선형 볼록 최적화를 위한 자유 수렴 속도를 갖춘 스케일링 인식 예측 수정 방법: SPICE
본 논문에서는 비선형 볼록 최적화 문제를 해결하기 위해 기존 예측 수정 방법의 수렴 속도를 향상시키는 새로운 스케일링 기법을 적용한 SPICE(Scaling-aware Prediction Correction) 방법을 제안합니다.
브레그만 볼록 최적화를 위한 브레그만 강 비확장 근접 연산자
본 논문에서는 유클리드 기하학과 정보 기하학을 결합한 브레그만 발산을 통해 새로운 근접 연산자가 브레그만 강 비확장성을 갖는다는 것을 증명하며, 이를 통해 기존의 볼록 최적화 방법을 일반화된 문제 설정으로 확장할 수 있음을 보여줍니다.
CRONOS: 확장 가능한 GPU 가속 볼록 신경망으로 딥러닝 향상
딥러닝 작업을 위한 새롭고 효율적인 최적화 알고리즘인 CRONOS는 볼록 최적화 기술을 활용하여 ImageNet 및 IMDb와 같은 대규모 데이터 세트에서 기존 딥러닝 최적화 도구와 비슷하거나 더 나은 성능을 달성합니다.
Hadamard 매개변수화를 통한 볼록 다면체 최적화: 특이점에서의 최적성 조건과 효율적인 하이브리드 알고리즘 개발
본 논문에서는 선형 제약 최적화 문제 (LCP)를 해결하기 위해 Hadamard 매개변수화를 적용하고, 매개변수화된 문제 (LCPH)의 기하학적 특성을 분석하여 특이점에서의 최적성 조건을 유도하고, 이를 기반으로 리만 최적화와 투영 경사 하강법을 결합한 효율적인 하이브리드 알고리즘을 제시합니다.
$p$-놈 오라클을 사용한 볼록 최적화
본 논문에서는 2 ≤ p < s일 때, ℓs-회귀를 smoothened ℓp-회귀로 효율적으로 축소하는 방법을 제시하고, 이를 위해 ℓs p(λ)-근접 오라클을 이용한 볼록 최적화 문제에 대한 향상된 가속화 속도를 제공하며, 이러한 속도가 거의 최적임을 증명합니다.
AN-SPS: 볼록 제약 최적화 문제를 위한 적응형 샘플 크기 비단조 라인 검색 스펙트럼 투영 부기울기 방법
AN-SPS라는 새로운 최적화 알고리즘은 샘플 크기를 적응적으로 조절하고 비단조 라인 검색을 활용하여 볼록 제약 최적화 문제를 효율적으로 해결합니다.
2계층 ReLU 신경망 훈련을 위한 볼록 최적화 공식
본 논문에서는 충분히 넓은 은닉 계층을 갖는 2계층 ReLU 신경망의 훈련 문제를 유한 차원의 볼록 최적화 문제로 변환하는 방법을 제시합니다. 이는 NP-hard 문제인 완전 양의 제약 조건을 포함하는 공동 양의 프로그램으로 공식화되지만, 다항 시간 내에 해결 가능한 반정부호 프로그래밍 완화를 통해 효율적인 훈련을 가능하게 합니다.
1차 알고리즘을 사용한 최적화: 개념, 알고리즘 및 수렴 분석
이 문서는 1차 최적화 방법을 사용하여 볼록 함수의 최소화 문제를 다루며, 기울기 강하, 근접 연산자, 근접 분할 알고리즘과 같은 핵심 개념, 알고리즘 및 수렴 분석을 제공합니다. 또한, 이러한 알고리즘을 비볼록 문제로 확장하는 것에 대해서도 논의합니다.
이분형 이차 등식 제약 조건의 집합과 구조 모델 업데이트 문제에 대한 적용: 볼록 완화의 한계와 활용
본 논문에서는 두 개의 이분형 이차 등식 제약 조건으로 정의된 집합의 볼록 완화를 위해 제약 조건 집합 기법을 사용할 때 발생하는 이론적 한계와 실용적인 활용 가능성을 다룹니다.
볼록 및 강볼록 최적화를 위한 효율적인 파라미터 없는 재시작 가속 경사 하강법
본 논문에서는 강볼록 및 볼록 복합 최적화 문제를 해결하기 위한 효율적인 파라미터 없는 재시작 가속 경사 하강법(RPF-SFISTA)과 파라미터 없는 공격적 정규화 방법(A-REG)을 제안합니다.
© 2024 by Linnk AI