Haghtalab, N., Qiao, M., Yang, K., & Zhao, E. (2024). Truthfulness of Calibration Measures. arXiv preprint arXiv:2407.13979v2.
本研究旨在探討現有校準度量方法的真實性,並提出一個新的校準度量方法,以解決現有方法的不足。
本文首先分析了多種現有校準度量方法,包括預期校準誤差(ECE)、平滑校準誤差(SCE)和校準距離等,並通過理論分析和實例證明了這些方法普遍缺乏真實性。接著,本文提出了子抽樣平滑校準誤差(SSCE),並通過數學證明,證明了SSCE具有近似真實性、完整性和合理性。
SSCE是一種具有真實性、完整性和合理性的校準度量方法,可以有效地評估預測的準確性,並鼓勵預測者做出真實的預測。
本研究對機器學習領域,特別是對序列預測中的校準問題具有重要意義。SSCE的提出為評估預測模型的校準度提供了一個更可靠的指標,並有助於提高預測的準確性和可靠性。
本研究主要集中在二元預測問題上,未來可以進一步探討SSCE在多類別預測問題中的應用。此外,還可以研究如何設計更高效的演算法來計算SSCE。
На другой язык
из исходного контента
arxiv.org
Дополнительные вопросы