核心概念
不同程式語言和軟體平台對機器學習評估指標的計算方式存在差異,這可能導致研究結果不一致,因此急需制定標準化的評估指標,以確保機器學習評估的可靠性和可重複性。
參考文獻: Salmanpour, M. R., Alizadeh, M., Mousavi, G., Sadeghi, S., Amiri, S., Oveisi, M., ... & Hacihaliloglu, I. (2024). Machine Learning Evaluation Metric Discrepancies across Programming Languages and Their Components: Need for Standardization. arXiv preprint arXiv:2401.01961.
研究目標: 本研究旨在評估不同程式語言(Python、R 和 Matlab)及其組件在計算機器學習評估指標時的一致性,並探討標準化這些指標的必要性。
方法: 研究人員使用了多個醫學影像數據集,並針對不同的機器學習任務(包括分類、迴歸、分群、相關性分析、統計檢定、分割和圖像轉換)採用了不同的演算法。他們比較了 Python 函式庫、R 套件和 Matlab 函數在計算約 60 個評估指標時所產生的結果。
主要發現: 研究發現,不同程式語言和組件在計算某些評估指標時存在顯著差異,例如二元分類中的精確率、召回率和 F1 分數,分群分析中的集群內平方和 (WCSS),多個統計檢定,以及分割任務中的 IoU。然而,也有一些指標在不同平台上表現出一致性,例如二元分類中的準確率、平衡準確率、Cohen's Kappa、F-beta 分數、MCC、幾何平均數、AUC 和對數損失。
主要結論: 研究結果強調了標準化機器學習評估指標的必要性,以確保不同平台上結果的可比性和可靠性。作者建議未來的研究應針對不同任務使用一致的指標,以便有效地比較機器學習技術和解決方案。
意義: 這項研究對於確保機器學習研究的可重複性和可靠性具有重要意義。標準化的評估指標將使研究人員能夠更準確地比較不同模型的效能,並促進更可靠的機器學習模型的開發。
局限性和未來研究方向: 本研究主要關注醫療保健應用,特別是醫學影像,這可能會限制其結果對其他領域的普遍適用性。未來的研究可以進一步探討其他領域中評估指標的一致性問題,並開發一個全面的評估指標庫,以確保其有效性和可靠性。
統計資料
本研究使用了 88 個組件,包括 29 個 Python 函式庫、31 個 R 套件和 28 個 Matlab 函數,用於計算不同的評估指標。
研究人員評估了大約 60 個指標,涵蓋了二元分類、多類別分類、迴歸、分群、相關性分析、統計檢定、分割和圖像轉換等多種機器學習任務。