Основні поняття
확률적 리프팅과 커널 사중 적분을 활용하여 유연성, 확장성, 강건성을 갖춘 일반 목적 배치 베이지안 최적화 프레임워크를 제안한다.
Анотація
이 논문은 배치 베이지안 최적화(BO)의 다양한 과제를 해결하기 위해 확률적 리프팅과 커널 사중 적분을 활용한 SOBER 프레임워크를 제안한다.
주요 내용은 다음과 같다:
확률적 리프팅을 통해 배치 BO 문제를 커널 사중 적분 문제로 변환한다. 이를 통해 다양한 획득 함수, 커널, 도메인 등을 유연하게 다룰 수 있다.
커널 사중 적분 알고리즘을 활용하여 배치 샘플을 선택한다. 이 방식은 도메인 인식 배치 불확실성 샘플링을 수행하며, 적응적 배치 크기 결정, 모델 오류에 대한 강건성, 자연스러운 종료 기준 등의 장점을 제공한다.
SOBER-TS와 SOBER-LFI 두 가지 버전을 제안한다. SOBER-TS는 Thompson 샘플링 해석을, SOBER-LFI는 우도 없는 추론(likelihood-free inference) 해석을 활용한다.
다양한 합성 및 실세계 벤치마크에서 SOBER의 우수한 성능을 입증한다.
Статистика
초기 10개의 i.i.d. 샘플이 상단 좌측 피크를 유망한 영역으로 잘못 식별했다.
Thompson 샘플링은 30개의 쿼리를 상단 좌측 근처에 집중하여 과소 탐색했다.
환상 기법은 새로운 영역을 지속적으로 탐험했지만 하단 좌측 영역에 대한 쿼리는 적었다.
SOBER 접근법은 광범위한 탐색으로 시작하여 점차 전역 최대값으로 좁혀갔다.
Цитати
"확률적 리프팅을 통해 배치 BO 문제를 커널 사중 적분 문제로 변환한다."
"커널 사중 적분 알고리즘을 활용하여 도메인 인식 배치 불확실성 샘플링을 수행한다."
"SOBER는 적응적 배치 크기, 모델 오류에 대한 강건성, 자연스러운 종료 기준 등의 장점을 제공한다."