본 연구 논문에서는 수학적 기댓값 형태의 목적 함수를 가진 볼록 제약 최적화 문제를 다룹니다. 특히, 기계 학습에서 힌지 손실과 같은 비평활 목적 함수를 포함하는 문제에 초점을 맞춥니다. 목적 함수를 직접 계산하기 어렵거나 비용이 많이 드는 경우가 많기 때문에, 이 연구에서는 샘플 평균 근사(SAA)를 활용하여 목적 함수를 근사합니다.
본 논문의 핵심 내용은 AN-SPS(Adaptive Sample Size Nonmonotone Line Search Spectral Projected Subgradient Method)라는 새로운 알고리즘을 제안하는 것입니다. AN-SPS는 SAA 함수와 관련된 스케일링된 부기울기와 스펙트럼 계수를 기반으로 검색 방향을 결정합니다. 또한, 미리 정의된 구간에서 비단조 라인 검색을 통해 단계 크기를 얻습니다. 이러한 접근 방식은 이론적으로 뒷받침되면서도 실질적으로 효율적인 알고리즘을 제공합니다.
AN-SPS 알고리즘의 주요 특징은 다음과 같습니다.
본 논문에서는 AN-SPS 방법의 거의 확실한 수렴성을 증명합니다. 또한, 유한 합 문제의 경우 최악의 경우 복잡도가 ε−1 차수임을 보여줍니다.
AN-SPS 알고리즘의 성능을 평가하기 위해 힌지 손실 문제와 기계 학습에 일반적으로 사용되는 데이터 세트를 사용하여 수치 실험을 수행했습니다. 그 결과, 제안된 적응형 샘플 크기 전략의 이점이 확인되었으며, 다양한 스펙트럼 계수와 비단조 규칙을 결합하여 알고리즘의 성능을 향상시킬 수 있음을 보여주었습니다.
Til et andet sprog
fra kildeindhold
arxiv.org
Vigtigste indsigter udtrukket fra
by Nata... kl. arxiv.org 10-31-2024
https://arxiv.org/pdf/2208.10616.pdfDybere Forespørgsler