핵심 개념
本文提出了一種名為主動傅立葉審計器 (AFA) 的新型模型審計框架,它利用傅立葉係數來估計黑盒機器學習模型的分佈特性,包括魯棒性、個體公平性和群體公平性。
摘要
隨著機器學習 (ML) 模型在現實世界應用中的普及,驗證和審計 ML 模型的特性已成為一個核心問題。本文重點關注三個特性:魯棒性、個體公平性和群體公平性。文章討論了兩種審計 ML 模型特性的方法:基於目標模型重建的估計和無需重建的估計。 儘管第一種方法已在文獻中得到研究,但第二種方法仍未得到探索。為此,本文開發了一個新的框架,該框架根據被審計 ML 模型的傅立葉係數來量化不同的特性,但不會對其進行參數化重建。 文章提出了主動傅立葉審計器 (AFA),它根據 ML 模型的傅立葉係數查詢樣本點,並進一步估計其特性。 作者推導了 AFA 估計值的高概率誤差界限,以及審計它們的樣本複雜度的最壞情況下界。 數字實驗表明,在多個數據集和模型上,與基準方法相比,AFA 在估計感興趣的特性方面更準確且樣本效率更高。
研究目標
本文旨在設計一種統一的機器學習審計器,用於黑盒系統,以估計一組分佈特性,包括魯棒性和公平性。
方法
利用傅立葉分析技術設計一個計算方案,用於同時估計機器學習模型的三個特性:魯棒性、個體公平性和群體公平性。
提出主動傅立葉審計器 (AFA),它使用傅立葉展開和自適應查詢來估計模型的魯棒性、個體公平性和群體公平性。
採用基於 Goldreich-Levin (GL) 算法的方法來查找模型的顯著傅立葉係數。
將計算出的傅立葉係數估計值代入相應的特性公式中,以獲得 (ϵ, δ)-PAC 估計。
主要結論
AFA 是一種通用的機器學習模型審計器,可以有效地估計模型的魯棒性、個體公平性和群體公平性。
AFA 在經驗上比現有方法更準確、樣本效率更高,同時在運行時間方面也具有競爭力。
意義
本文的研究結果為黑盒機器學習模型的審計提供了一種新的思路,並為設計更可靠和負責任的機器學習系統奠定了基礎。
局限性和未來研究
未來的工作可以集中於將 AFA 擴展到估計本文研究的三個特性之外的分佈特性。
可以進一步研究 AFA 在其他機器學習任務中的應用,例如模型解釋和模型選擇。