核心概念
與隨機搜索相比,序列模型優化(SMBO)和基於人口的方法在短期負載預測中表現出更快的運行時間和更高的準確性,特別是在結合天氣和日曆信息等上下文特徵時。
摘要
書目資訊
Hakyemez, T. C., & Adar, O. (2024). Testing the Efficacy of Hyperparameter Optimization Algorithms in Short-Term Load Forecasting. arXiv preprint arXiv:2410.15047.
研究目標
本研究旨在評估五種超參數優化 (HPO) 演算法(隨機搜索、協方差矩陣適應進化策略 (CMA-ES)、貝葉斯優化、粒子群優化 (PSO) 和 Nevergrad 優化器 (NGOpt))在單變量和多變量短期負載預測 (STLF) 任務中的效果。
方法
研究人員使用巴拿馬電力數據集 (n=48,049) ,以 XGBoost 作為替代預測演算法,評估了 HPO 演算法在準確性(即 MAPE、R2)和運行時間方面的性能。他們使用不同樣本大小(從 1,000 到 20,000)的性能圖來可視化這些指標,並使用 Kruskal-Wallis 檢驗來評估性能差異的統計顯著性。
主要發現
- 與隨機搜索相比,HPO 演算法在運行時間方面具有顯著優勢。
- 在單變量模型中,貝葉斯優化在測試方法中準確性最低。
- 在多變量分析中,所有 HPO 演算法都隨著樣本量的增加而提高了 XGBoost 的性能。
- 貝葉斯 HPO 可以有效地利用天氣和日曆信息等上下文特徵來提高其在多變量設置中的性能。
主要結論
該研究證明了所選智能 HPO 技術相對於基準隨機搜索的有效性,特別是在運行時間方面。然而,貝葉斯優化在單變量設置中的表現不佳。
研究意義
本研究為在 STLF 環境中優化 XGBoost 提供了寶貴的見解,並為未來的研究指明了方向。
局限性和未來研究方向
- 由於計算複雜性和相關的較長運行時間,分析僅限於單一預測演算法 (XGBoost)。
- 出於同樣的原因,實驗超參數的數量及其值受到嚴重限制。
- 只實驗了五種 HPO 演算法,並且每種技術都有許多不同的搜索演算法,這些都可以納入未來的實驗中。
- HPO 技術的有效性僅在兩個數據集中進行了測試,這限制了其對其他環境的推廣性。
- 未來的研究方向包括:將可解釋性指標納入分析、比較不同國家或地區的模型性能、評估不同建築類型中 HPO 演算法的穩健性,以及研究 HPO 演算法在不同時間間隔內的可擴展性。
統計資料
該研究使用了巴拿馬電力數據集,其中包含 2015 年 1 月至 2020 年 6 月期間的每小時巴拿馬全國電力需求測量值 (n=48,049)。
樣本大小從 1,000 到 20,000 不等,增量為 1,000。
為選定的 HPO 演算法設置了 20 次提前停止,隨機搜索除外。
隨機搜索使用 5 折交叉驗證策略進行超參數搜索。