Core Concepts
본 논문은 힌지 손실 함수 체제에서 온라인 커널 학습을 위한 커널 정렬 레그렛 바운드를 개선한다. 이전 알고리즘은 O((AT T ln T)1/4) 레그렛과 O(√AT T ln T) 계산 복잡도를 달성했다. 우리는 이보다 더 나은 레그렛 바운드와 계산 복잡도를 가진 알고리즘을 제안한다.
Abstract
본 논문은 온라인 커널 학습을 위한 개선된 레그렛 바운드와 계산 복잡도를 제안한다.
핵심 내용은 다음과 같다:
- 커널 행렬의 고유값 감쇄 속도에 따라 다른 결과를 제시한다.
- 고유값이 지수적으로 감쇄하는 경우, O(√AT) 레그렛과 O(ln2 T) 계산 복잡도를 달성한다.
- 고유값이 다항식적으로 감쇄하는 경우, O(√AT + √T AT/√B) 레그렛과 O(dB) 계산 복잡도를 달성한다.
- 제안 알고리즘은 최적적 거울 하강(OMD)과 근사 선형 종속(ALD) 조건을 결합하여 새로운 예산 관리 방식을 제시한다.
- OMD를 통해 O(√AT) 레그렛 바운드를 달성한다.
- ALD 조건을 통해 O(d ln T + ln2 T) 또는 O(dB) 계산 복잡도를 달성한다.
- 배치 학습 설정에서 제안 알고리즘은 O(1/T√E[AT]) 초과 위험 바운드를 달성하여 이전 결과를 개선한다.
Stats
커널 행렬의 고유값 λi가 지수적으로 감쇄하는 경우, |ST| ≤ 2 ln(C1R0/α) / ln(r-1)
커널 행렬의 고유값 λi가 다항식적으로 감쇄하는 경우, |ST| ≤ e · (C2R0/α)1/p