แนวคิดหลัก
리만 다양체 상에서 기대값을 포함하는 함수들의 합성을 최적화하는 문제를 다룬다. 기존의 리만 확률적 경사 방법은 이 문제에 직접 적용할 수 없으므로, 새로운 알고리즘을 제안한다.
บทคัดย่อ
이 논문은 리만 다양체 상에서 기대값을 포함하는 함수들의 중첩 합성을 최적화하는 문제를 다룬다.
두 수준의 합성 최적화 문제에 대해, 리만 확률적 합성 경사 하강법(R-SCGD)을 제안한다. R-SCGD는 외부 함수의 확률적 경사 오라클과 내부 함수의 확률적 함수 및 경사 오라클을 ϵ-근사 정상점, 즉 ∥gradf(x)∥2 ≤ ϵ를 달성하는데 O(ϵ-2) 번 호출하여 찾는다.
또한 다수 수준의 중첩 구조를 가진 문제로 일반화하고, 동일한 O(ϵ-2) 복잡도를 달성한다. 마지막으로 강화학습의 정책 평가 문제에 R-SCGD를 적용하여 효과를 검증한다.
สถิติ
리만 다양체 M과 N 사이의 매끄러운 사상 g는 Lg-smooth하다.
외부 함수 fξ는 Lf-smooth하다.
확률적 함수 값 gϕ(x)는 g(x)의 불편추정량이며 분산 제한이 있다.
확률적 경사는 기대값에서 정확하다.
คำพูด
"이 유형의 문제는 강화학습의 정책 평가, 메타학습의 모델 맞춤 등 다양한 응용 분야에서 인기를 얻고 있다."
"기존의 리만 확률적 경사 하강법은 내부 함수의 확률적 근사로 인해 발생하는 편향으로 인해 직접 적용할 수 없다."