이 논문은 하이퍼파라미터 최적화를 위한 새로운 접근법인 in-context freeze-thaw 베이지안 최적화(ifBO)를 제안한다. 기존의 freeze-thaw 베이지안 최적화 방법은 온라인 학습을 통해 대리 모델을 업데이트하는데, 이는 계산 비용이 많이 들고 불안정성을 야기할 수 있다. 이에 반해 ifBO는 prior-data fitted network(FT-PFN)라는 새로운 대리 모델을 사용하여 in-context 학습을 통해 효율적이고 안정적으로 학습 곡선을 예측한다. 또한 ifBO는 MFPI-random이라는 새로운 acquisition 함수를 사용하여 탐색-활용 균형을 달성한다. 실험 결과, ifBO는 기존 방법들보다 예측 정확도와 속도가 크게 향상되었으며, 다양한 벤치마크 문제에서 최신 성능을 달성했다.
Başka Bir Dile
kaynak içeriğinden
arxiv.org
Önemli Bilgiler Şuradan Elde Edildi
by Herilalaina ... : arxiv.org 04-26-2024
https://arxiv.org/pdf/2404.16795.pdfDaha Derin Sorular