로그인
통찰 - 하이퍼파라미터 최적화
대규모 언어 모델 기반의 순차적 하이퍼파라미터 최적화 및 LLM-TPE 샘플러 소개
대규모 언어 모델(LLM)을 활용한 새로운 하이퍼파라미터 최적화 프레임워크인 SLLMBO는 기존 방법보다 뛰어난 성능과 효율성을 제공하며, 특히 LLM-TPE 샘플러를 통해 탐색과 활용의 균형을 효과적으로 유지합니다.
단기 부하 예측에서 하이퍼파라미터 최적화 알고리즘의 효능 테스트: 다변량 데이터 설정에서 베이지안 최적화의 정확도 향상
단기 부하 예측 작업에서 XGBoost 알고리즘의 하이퍼파라미터를 최적화할 때, 무작위 검색보다 CMA-ES, 베이지안 최적화, PSO, NGOpt와 같은 순차적 모델 기반 최적화 및 개체군 기반 방법이 런타임을 단축하는 데 효과적이며, 특히 다변량 데이터 설정에서 베이지안 최적화의 정확도가 향상되는 것을 확인했습니다.
반응 표면 방법론을 이용한 보험계리학적 신경망 최적화
본 논문에서는 자원 제약 환경에서 효율적인 하이퍼파라미터 튜닝을 위해 반응 표면 방법론(RSM)을 사용하여 보험계리학적 신경망(CANN)의 성능을 최적화하는 방법을 제시합니다.
깊은 신경망 학습을 위한 확률적 경사 기반 접근법에서의 하이퍼파라미터 최적화를 위한 크로스 엔트로피 최적화
확률적 경사 기반 접근법을 사용하여 깊은 신경망을 학습할 때 하이퍼파라미터 최적화를 위한 크로스 엔트로피 최적화 방법을 제시한다.
최소 예산으로 최적의 하이퍼파라미터 찾기를 위한 In-Context Freeze-Thaw 베이지안 최적화
최소 예산으로 최적의 하이퍼파라미터를 찾기 위해 in-context 학습 기반의 freeze-thaw 베이지안 최적화 기법을 제안한다.
스파이킹 신경망의 병렬 하이퍼파라미터 최적화
스파이킹 신경망의 하이퍼파라미터 최적화는 새로운 최적화 알고리즘을 통해 더 효율적으로 수행될 수 있음을 보여준다.